Momentum (Momentum Optimizasyonu)

Momentum nedir?

Momentum, sinir ağlarını eğitirken kullanılan gradient descent'i hızlandıran ve stabilize eden bir optimizasyon tekniği. Fikir fizikteki momentumdan gelir: yokuş aşağı yuvarlanan bir top, her anki eğime körü körüne uymaz, birikmiş hızını da taşır.

Nasıl çalışır?

Sade gradient descent her adımda yalnızca o noktadaki gradyana bakıp parametreyi günceller. Momentum ise geçmiş gradyanların üstel ağırlıklı ortalamasını bir "hız" vektöründe tutar ve güncellemeyi bu birikmiş yöne göre yapar. Tekrar eden yönler güçlenir, sürekli yön değiştiren gürültülü bileşenler birbirini söndürür. Genelde 0.9 civarı bir momentum katsayısı kullanılır; bu, güncellemenin büyük kısmının geçmişin ivmesinden geldiği anlamına gelir.

Neden önemli?

Momentumsuz gradient descent, dar ve uzun vadilerde iki yamaç arasında zikzak çizerek yavaşça ilerler. Momentum bu zikzakları söndürüp vadinin uzun ekseninde hızlanmayı sağlar — eğitim hem hızlanır hem de yerel pürüzlere daha az takılır. Bugünün standart optimizer'ı Adam da özünde momentum ile adaptif learning rate'i birleştirir.

Kullanım alanları

Görüntü sınıflandırmadan dil modeli pretraining'ine kadar hemen her derin öğrenme eğitiminde momentum ya doğrudan (SGD + momentum) ya da Adam gibi optimizer'ların içinde gömülü olarak kullanılır. Doğru momentum ve learning rate ayarı, bir modelin yakınsayıp yakınsamamasını belirleyebilir.