Tam Bağlı Katman (Dense Layer)

Tam Bağlı Katman nedir?

Tam bağlı katman (dense layer ya da fully-connected layer), içindeki her nöronun bir önceki katmandaki her nörondan girdi aldığı sinir ağı katmanıdır. Adını da buradan alır: Katmanlar arasındaki bağlantılar tamdır, hiçbiri atlanmaz.

Bir sinir ağı diyagramı düşündüğünde gözünün önüne gelen, her dairenin bir sonraki sıradaki tüm dairelere çizgilerle bağlandığı görüntü, tam bağlı katmanların görüntüsüdür.

Nasıl çalışır?

Tam bağlı bir katmanın yaptığı iş üç adımda özetlenebilir:

• Ağırlıklı toplam: Her nöron, önceki katmandan gelen tüm değerleri kendi ağırlıklarıyla çarpar ve toplar.
• Bias ekleme: Bu toplama nörona özel bir sabit değer (bias) eklenir.
• Aktivasyon: Sonuç, ReLU veya GELU gibi bir aktivasyon fonksiyonundan geçirilir.

Matematiksel olarak tüm katman tek bir matris çarpımıyla ifade edilir: Girdi vektörü ağırlık matrisiyle çarpılır, bias vektörü eklenir ve aktivasyon uygulanır. Bu yüzden GPU'lar bu işlemi çok verimli yapar.

Parametre sayısı hızla büyür. Girdisi 1.000, çıktısı 1.000 nöron olan tek bir tam bağlı katman, yaklaşık bir milyon ağırlık içerir. Görüntü gibi büyük girdilerde tüm pikselleri doğrudan tam bağlı bir katmana vermek bu yüzden verimsizdir; convolutional katmanlar bu sorunu yerel bağlantılar ve ağırlık paylaşımıyla çözer.

Neden önemli?

Tam bağlı katmanlar neredeyse her sinir ağı mimarisinde bulunur. Klasik çok katmanlı perceptron (MLP) tamamen bu katmanlardan oluşur. Convolutional ağlarda, özellik çıkarımından sonra sınıflandırma yapmak için genellikle son katmanlarda kullanılır.

Transformer mimarisinde de kritik bir rol oynarlar: Her Transformer bloğundaki feed-forward network, iki tam bağlı katmandan oluşur. Büyük dil modellerinin parametrelerinin büyük bir kısmı aslında bu katmanlardadır. Araştırmalar, modelin öğrendiği olgusal bilginin önemli bir kısmının bu katmanlarda saklandığına işaret ediyor. LoRA gibi fine-tuning yöntemleri de çoğunlukla bu katmanların ağırlık matrislerini hedef alır.

Kullanım alanları

• Sınıflandırma başlıkları: Bir modelin son katmanında sınıf skorlarını üretmek.
• Transformer feed-forward blokları: Her attention katmanının ardından gelen işleme adımı.
• Tablo verisi: Yapılandırılmış veriler üzerinde çalışan basit MLP modelleri.
• Embedding projeksiyonları: Bir temsili farklı boyutlu bir uzaya taşımak.
• Öneri sistemleri: Kullanıcı ve ürün özelliklerini birleştiren derin katmanlar.