Patlayan Gradyan (Exploding Gradient)

Patlayan Gradyan nedir?

Bir nöral ağ eğitilirken, hatanın nasıl düzeltileceği bilgisi son katmandan ilk katmana doğru geriye taşınır. Bu sinyale gradient •ağırlıkların hangi yöne ne kadar güncelleneceğini söyleyen türev• denir. Patlayan gradyan, bu sinyalin katmanlar boyunca geriye giderken sürekli büyümesi ve kontrolden çıkacak kadar dev sayılara ulaşması durumudur.

Sonuç genellikle serttir: ağırlıklar aşırı büyük adımlarla güncellenir, model kararlılığını kaybeder ve kayıp (loss) değeri bir anda NaN (sayı değil) olur. Eğitim çöker.

Nasıl çalışır?

Backpropagation •hatayı geriye yayarak ağırlıkları güncelleyen algoritma• sırasında her katmanın gradyanı, sonraki katmanların gradyanlarıyla çarpılarak hesaplanır. Bu çarpımlarda tekrar tekrar 1'den büyük değerler devreye girerse, sonuç üstel olarak büyür — 1,5'i yirmi kez kendisiyle çarpmak gibi, sayı hızla patlar.

Bu, vanishing gradient •sinyalin tam tersine sönümlenip kaybolması• probleminin ayna görüntüsüdür. Biri sinyali yok eder, diğeri şişirir; ikisi de derin ağların uzun süre eğitilmesini zorlaştıran klasik sorunlardır. Özellikle RNN gibi çok uzun diziler işleyen mimarilerde sık görülür.

Neden önemli?

Patlayan gradyanı tanımak, eğitimin neden aniden bozulduğunu anlamanın anahtarıdır. Çözümler bellidir: gradient clipping •gradyanı belli bir eşikte kırpma• ile sinyale tavan koymak en yaygın yöntemdir. Bunun yanında layer normalization, dikkatli ağırlık başlatma ve residual connection gibi teknikler de sorunu büyük ölçüde bastırır. Modern transformer'ların istikrarlı eğitilebilmesinin arkasında bu önlemler yatar.

Kullanım alanları

Derin ağların, tekrarlayan sinir ağlarının ve büyük dil modellerinin eğitim süreçlerinde bir teşhis ve önlem konusu olarak karşına çıkar. Bir modeli sıfırdan eğiten veya fine-tuning yapan herkesin farkında olması gereken temel bir kavramdır.