İleri Beslemeli Ağ (Feed-Forward Network)

Feed-Forward Network nedir?

Feed-forward network (ileri beslemeli ağ, FFN), Transformer bloğunda attention katmanının hemen ardından gelen küçük ama kritik bir sinir ağı. Attention token'lar arası bilgiyi harmanlarken, FFN her token'ı tek tek, bağımsız olarak işler ve dönüştürür.

Nasıl çalışır?

FFN iki doğrusal katman ile aralarında bir aktivasyon fonksiyonundan (genelde ReLU ya da GELU) oluşur. İlk katman token vektörünü çok daha geniş bir boyuta (örneğin 4 kat) açar, aktivasyon doğrusal olmayan bir eşik uygular, ikinci katman tekrar orijinal boyuta indirir. Bu "genişlet–işle–daralt" hareketi, modele karmaşık desenleri saklama ve geri çağırma alanı verir. Önemli nokta: aynı FFN ağırlıkları dizideki her pozisyona ayrı ayrı ama aynı şekilde uygulanır.

Neden önemli?

Bir Transformer'ın parametrelerinin büyük kısmı aslında attention'da değil, bu FFN katmanlarında saklıdır. Son araştırmalar FFN'leri modelin "hafıza deposu" gibi düşündürüyor — öğrenilmiş bilgi büyük ölçüde burada tutulur. Mixture-of-experts gibi verimlilik yöntemleri de tam bu katmanı parçalayıp seçici çalıştırma fikrine dayanır.

Kullanım alanları

Her Transformer tabanlı modelde — dil, görsel, ses — attention ile FFN sırayla tekrarlanarak derinlik oluşturur. FFN boyutunu büyütmek modeli güçlendirmenin en doğrudan yollarından biri, ama aynı zamanda compute maliyetinin de ana kaynağı.