AdaGrad (Adaptive Gradient)

AdaGrad nedir?

AdaGrad (Adaptive Gradient Algorithm), 2011'de önerilen ve her parametre için ayrı bir learning rate kullanan bir optimizasyon algoritmasıdır. Klasik gradient descent tüm parametreleri aynı adım büyüklüğüyle günceller. AdaGrad ise her parametrenin geçmişine bakar: Sık ve büyük güncellenen parametrelerin adımlarını küçültür, nadiren güncellenen parametrelere daha büyük adımlar atar.

Bu yaklaşım, sonradan gelen RMSProp ve Adam gibi popüler optimizer'ların da temelini oluşturdu.

Nasıl çalışır?

AdaGrad her parametre için bir "gradyan geçmişi" tutar. Her eğitim adımında o parametrenin gradyanının karesi bu geçmişe eklenir. Güncelleme yapılırken, temel learning rate bu birikmiş toplamın kareköküne bölünür.

Sonuç şudur:

• Sık güncellenen parametreler: Birikmiş toplam hızla büyür, efektif learning rate küçülür. Parametre daha temkinli hareket eder.
• Seyrek güncellenen parametreler: Birikmiş toplam küçük kalır, efektif learning rate yüksek kalır. Parametre nadiren sinyal aldığında büyük bir adım atar.

Bu özellik, seyrek (sparse) verilerde çok değerlidir. Örneğin bir metin modelinde yaygın kelimelere ait parametreler her batch'te güncellenirken, nadir kelimelere ait parametreler çok seyrek güncellenir. AdaGrad, nadir kelimelerin de yeterince öğrenilmesini sağlar.

AdaGrad'ın bilinen bir zaafı var: Gradyan kareleri sürekli birikir ve hiçbir zaman azalmaz. Uzun eğitimlerde efektif learning rate sıfıra doğru küçülür ve model bir noktadan sonra neredeyse öğrenmeyi bırakır. RMSProp bu sorunu, geçmişi tamamen toplamak yerine üstel olarak azalan bir ortalama tutarak çözdü. Adam ise buna momentum ekledi.

Neden önemli?

AdaGrad, "her parametre aynı hızda öğrenmek zorunda değil" fikrini pratiğe döken ilk yaygın algoritmalardan biridir. Learning rate'i elle ince ayar yapma ihtiyacını azalttı. Bugün derin öğrenmede genellikle Adam ya da türevleri tercih edilse de, AdaGrad'ın mantığını anlamak bu modern optimizer'ların neden böyle tasarlandığını anlamanın en kolay yoludur.

Kullanım alanları

• Seyrek veriler: Metin sınıflandırma, öneri sistemleri ve reklam tıklama tahmini gibi çok sayıda nadir özelliği olan problemler.
• Kelime embedding'leri: Bazı klasik embedding yöntemleri AdaGrad ile eğitildi.
• Doğrusal modeller: Büyük ölçekli lojistik regresyon eğitimi.
• Eğitim ve öğretim: Adaptif optimizer'ların evrimini anlatırken başlangıç noktası.
• Kısa eğitimler: Learning rate'in çok küçülmesinin sorun olmadığı görece kısa optimizasyon süreçleri.