GELU (Gaussian Error Linear Unit)

GELU nedir?

GELU, bir nöral ağın •beynin nöronlarından esinlenen katmanlı hesap yapısı• içindeki nöronların "ne kadar ateşleneceğine" karar veren bir aktivasyon fonksiyonu. GPT, BERT ve pek çok modern transformer modelinin gizli katmanlarında karşına çıkar. Adındaki "Gaussian" kısmı, kararını normal dağılım eğrisine dayandırmasından gelir.

Nasıl çalışır?

Klasik ReLU •negatif değerleri sıfırlayan basit aktivasyon• bir girdiyi ya olduğu gibi geçirir ya da tamamen sıfırlar — sert, keskin bir "geç ya da kes" kararı. GELU ise bu kararı yumuşatır: girdiyi, o değerin ne kadar "büyük" olduğuna dair olasılıksal bir ağırlıkla çarpar. Küçük pozitif değerler biraz kısılarak, çok negatif değerler neredeyse sıfırlanarak geçer, ama arada pürüzsüz bir geçiş vardır.

Pratikte bu, sıfırın etrafında keskin bir köşe yerine yumuşak bir kıvrım demek. Bu yumuşaklık, eğitim sırasında gradient •ağırlıkların hangi yöne güncelleneceğini söyleyen sinyal• akışını daha kararlı kılar.

Neden önemli?

Aktivasyon fonksiyonu, bir modelin doğrusal olmayan örüntüleri öğrenip öğrenemeyeceğini belirler — onsuz ağ, kaç katman koyarsan koy sadece bir çizgi çizebilir. GELU, ReLU'ya kıyasla birçok dil modelinde biraz daha iyi sonuç verdiği için transformer çağının fiili standardı hâline geldi. Küçük bir seçim gibi görünür ama milyarlarca parametreli bir modelde bu küçük farklar birikir.

Kullanım alanları

BERT, GPT serisi ve türevleri, görüntü transformer'ları (ViT) ve genel olarak büyük dil modellerinin feed-forward katmanları. Yeni bir mimari tasarlarken ReLU, GELU ve SiLU gibi seçenekler arasından genellikle deneyerek en iyisi seçilir.