Gradyan İnişi (Gradient Descent)
Araç kavramlarıGradyan İnişi (Gradient Descent) nedir?
Gradient descent, makine öğreniminde modelin tahmin hatalarını minimuma indirmek için kullanılan temel optimizasyon algoritmasıdır. Kısaca: modelin her parametresini (ağırlığını) hata azalacak yönde küçük adımlarla güncelle.
Matematiksel olarak "kaybı" (loss function) en aza indiren parametreleri bulmak için kaybın gradyanını (türevini) hesaplar ve bu gradyanın ters yönünde hareket eder.
Nasıl çalışır?
- Model bir tahmin yapar
- Bu tahmin ile doğru cevap arasındaki hata (loss) hesaplanır
- Backpropagation ile her parametrenin hataya katkısı (gradyan) bulunur
- Her parametre, gradyanın ters yönünde öğrenme hızı (learning rate) kadar güncellenir
- Bu döngü milyonlarca kez tekrarlanır
Temel varyantlar:
- SGD (Stochastic Gradient Descent): Her adımda tek bir örnek kullanır — hızlı ama gürültülü
- Mini-batch Gradient Descent: Küçük veri grupları kullanır — denge noktası, pratikte en yaygın
- Adam, AdaGrad, RMSprop: Öğrenme hızını adaptif olarak ayarlayan gelişmiş versiyonlar
Öğrenme hızı (learning rate) kritik bir hiperparametredir: çok büyükse model yakınsayamaz, çok küçükse eğitim çok yavaş ilerler.
Neden önemli?
Gradient descent, modern yapay zekanın taşıyıcı sütunudur. GPT'den diffusion modellerine, küçük sinir ağlarından devasa LLM'lere kadar neredeyse tüm modeller bu temel mekanizmayla eğitilir.
Eğer bir model "öğreniyorsa", arkasında gradient descent çalışıyordur.
Kullanım alanları
- Model eğitimi: Her tür sinir ağı eğitiminin temel motoru
- Fine-tuning: Önceden eğitilmiş modeli yeni göreve uyarlarken kullanılır
- LoRA ve PEFT: Daha az parametre güncelleyerek verimli gradient descent
- Reinforcement learning: Ödül sinyalinden gelen gradyanlarla politika güncelleme
Ilgili terimler
