Artık Bağlantı (Residual Connection)

Residual Connection nedir?

Residual connection (artık bağlantı ya da skip connection), bir sinir ağı katmanının girişini o katmanın çıktısına doğrudan ekleyen bir kısayol bağlantısıdır. Katman sıfırdan bir çıktı üretmek yerine, girişe eklenecek küçük bir düzeltme (residual) öğrenir. 2015'te ResNet ile popülerleşti ve bugün transformer'lar dahil neredeyse her derin modelde standart bir parça.

Nasıl çalışır?

Klasik bir katman girişi x'i alır ve F(x) çıktısını üretir. Residual connection ise çıktıyı F(x) + x yapar. Bu basit toplamanın etkisi büyük: backpropagation sırasında gradyan, katmanların içinden geçmek zorunda kalmadan bu kısayol üzerinden doğrudan akabilir. Böylece vanishing gradient problemi ciddi biçimde hafifler ve onlarca hatta yüzlerce katmanlı ağlar eğitilebilir hale gelir. Bir katman işe yaramıyorsa ağ F(x)'i sıfıra yakın öğrenip girişi olduğu gibi geçirebilir — yani derinlik eklemek performansı kötüleştirmez.

Neden önemli?

Residual connection olmadan çok derin ağları eğitmek pratikte imkânsıza yakındı; derinlik arttıkça doğruluk düşüyordu. Bu kısayol fikri, derin öğrenmenin gerçekten "derin" olabilmesinin önünü açtı. Transformer mimarisinde her attention ve feed-forward bloğunun etrafında birer residual connection vardır; yani bugün kullandığın her LLM'in temelinde bu fikir yatıyor.

Kullanım alanları

Görüntü tanıma (ResNet ve türevleri), doğal dil işleme (transformer tabanlı tüm modeller), ses işleme ve diffusion model dahil modern derin öğrenmenin hemen her alanında residual connection standart bir yapı taşı. Yeni bir mimari tasarlarken katmanların etrafına skip connection koymak artık neredeyse refleks.