ReLU (Rectified Linear Unit)

ReLU nedir?

ReLU (Rectified Linear Unit), bir sinir ağındaki nöronun çıkışına uygulanan bir aktivasyon fonksiyonu. Görevi tek cümleyle özetlenebilir: gelen sayı negatifse sıfır yap, pozitifse olduğu gibi bırak. Matematiksel hali de bu kadar yalın — f(x) = max(0, x).

Bu kadar basit bir kuralın derin öğrenmenin önünü açan şeylerden biri olması ilk bakışta şaşırtıcı gelebilir. Ama işin sırrı tam da bu sadelikte.

Nasıl çalışır?

Bir sinir ağı katman katman sayılar işler. Her nöron, kendine gelen değerleri toplar ve bir aktivasyon fonksiyonundan geçirir. Aktivasyon olmasa ağ ne kadar derin olursa olsun düz bir doğrusal işlem olarak kalır — yani karmaşık örüntüleri öğrenemez.

ReLU bu doğrusallığı kırar. Negatif girdileri sıfırlayarak nöronların bir kısmını "kapatır", böylece ağ her girdi için farklı nöron kombinasyonları kullanır. Pozitif tarafta ise değeri hiç bozmadan geçirdiği için, gradyanlar geriye doğru rahatça akar.

Neden önemli?

ReLU'dan önce yaygın olan sigmoid ve tanh fonksiyonları, derin ağlarda vanishing gradient denilen soruna yol açıyordu — katmanlar derinleştikçe öğrenme sinyali sönüyordu. ReLU pozitif bölgede sabit bir eğime sahip olduğu için bu sorunu büyük ölçüde hafifletti. Hesaplaması da neredeyse bedava: sadece bir karşılaştırma. Bu ikisi bir araya gelince derin ağları eğitmek hem mümkün hem hızlı hale geldi.

Tek zaafı: sürekli negatif girdi alan bir nöron sonsuza dek sıfır verip "ölebilir". Bu yüzden Leaky ReLU, GELU gibi türevleri çıktı.

Kullanım alanları

Görüntü tanımadan dil modellerine kadar neredeyse her derin sinir ağında ReLU ya da bir akrabası var. Convolutional ağların gizli katmanları büyük oranda ReLU ile çalışır; modern transformer'lar ise çoğunlukla GELU gibi yumuşatılmış sürümlerini tercih eder.