Kodlayıcı-Çözücü (Encoder-Decoder)

Encoder-Decoder nedir?

Encoder-decoder, bir girdiyi önce sıkıştırıp anlamlı bir temsile çeviren, sonra bu temsilden yeni bir çıktı üreten iki parçalı bir model mimarisidir. Adı üstünde: encoder (kodlayıcı) girdiyi okur, decoder (çözücü) çıktıyı yazar. Çeviri, özetleme, soru-cevap gibi "bir diziden başka bir diziye" görevlerinin temelinde bu yapı yatar.

Nasıl çalışır?

Encoder, girdiyi (mesela bir İngilizce cümle) token token okur ve her şeyi bir sayı vektörleri kümesine — gizli temsile — sıkıştırır. Bu temsil, cümlenin anlamını taşır. Decoder sonra bu temsili alır ve hedef çıktıyı (mesela Türkçe çeviri) token token üretir; her adımda hem encoder''ın temsiline hem de o ana kadar ürettiği kelimelere bakar. Modern transformer mimarisinde encoder ve decoder birbirine attention mekanizmasıyla bağlanır: decoder, çıktının her kelimesini üretirken girdinin hangi kısmına "dikkat" edeceğini öğrenir. Eski yöntemlerde tüm anlam tek bir vektöre sıkışmak zorundaydı; attention bu darboğazı kaldırdı.

Neden önemli?

Bu ayrım, girdiyi anlama ile çıktı üretme işini iki ayrı uzmanlığa böler. Bazı modeller sadece encoder kullanır (anlama ağırlıklı, mesela sınıflandırma), bazıları sadece decoder (üretim ağırlıklı, GPT tarzı modeller), bazıları ikisini birden (çeviri, özet). Yani bir modelin neyi iyi yaptığı çoğu zaman bu mimaride saklıdır. "Attention Is All You Need" makalesi bu yapıyı modern haline getirdi ve bugünkü büyük dil modellerinin atası oldu.

Kullanım alanları

Makine çevirisi, metin özetleme, konuşmadan metne, görüntü altyazılama, kod üretimi. Girdi bir formatta gelip çıktı başka bir formatta gidiyorsa, arka planda büyük ihtimalle bir encoder-decoder mantığı çalışıyordur.