Stokastik Gradyan İnişi (Stochastic Gradient Descent)

Stochastic Gradient Descent nedir?

Stochastic Gradient Descent (SGD), bir yapay sinir ağının öğrenmesini sağlayan optimizasyon yönteminin en yaygın halidir. Modelin hata (loss) değerini azaltmak için ağırlıkları küçük adımlarla günceller — ama tüm veri setini bir kerede kullanmak yerine, her adımda rastgele seçilmiş küçük bir örnek grubu üzerinden gider. "Stochastic" yani rastgele olmasının sebebi tam olarak bu: her adım verinin farklı bir parçasına bakar.

Nasıl çalışır?

Klasik gradient descent her güncelleme için tüm veriyi baştan sona tarar. Milyonlarca örnekte bu hem çok yavaş hem de belleğe sığmaz. SGD bunun yerine veriyi küçük gruplara (mini-batch) böler, her grup için gradyanı hesaplar ve ağırlıkları hemen günceller. Adımın ne kadar büyük olacağını learning rate belirler.

Her mini-batch farklı bir yön işaret ettiği için ilerleme düz bir çizgi değil, zikzaklı olur. Kulağa kusur gibi gelse de bu gürültü işe yarar: model kötü bir yerel minimumda takılıp kalmaktan kurtulur, daha iyi çözümlere kaçabilir. momentum ve Adam gibi eklentiler bu zikzağı yumuşatıp yakınsamayı hızlandırmak için geliştirildi.

Neden önemli?

Bugün eğitilen dev modellerin hepsi bir SGD türeviyle öğreniyor. Tüm veriyi tek seferde işlemek fiziksel olarak imkânsız olduğundan, parça parça öğrenmek bir tercih değil zorunluluk. Ayrıca SGD çevrimiçi (online) öğrenmeye de uygun: veri akmaya devam ederken model güncellenebilir, sıfırdan eğitmek gerekmez.

Kullanım alanları

Derin öğrenmenin her köşesinde var: dil modeli pretraining, computer vision, öneri sistemleri, fine-tuning. Bir modeli kendin eğitmesen bile, kullandığın her aracın arka planında dönen öğrenme döngüsünün kalbinde bir SGD varyantı çalışıyor.