Çapraz Dikkat (Cross-Attention)

Çapraz dikkat nedir?

Çapraz dikkat, bir transformer modelinin bir diziyi işlerken başka bir diziye bakmasını sağlayan mekanizmadır. Self-attention aynı dizinin kendi içine bakarken, çapraz dikkat iki farklı kaynağı birbirine bağlar — mesela çeviride kaynak cümle ile üretilen hedef cümleyi, ya da bir görseli ve onu anlatan metni.

Nasıl çalışır?

Dikkat mekanizması üç bileşenle çalışır: sorgu (query), anahtar (key) ve değer (value). Çapraz dikkatte sorgular bir diziden gelir (örneğin decoder'ın o ana kadar ürettiği metin), anahtar ve değerler ise başka bir diziden (encoder'ın kodladığı girdi). Model her adımda şunu sorar: şu an ürettiğim kelime, girdinin hangi parçasıyla ilgili? İlgili yerlere yüksek ağırlık verir, gerisini geri plana atar. Böylece decoder girdinin tamamını görür ama sadece o anda alakalı olana odaklanır.

Neden önemli?

Çapraz dikkat olmadan encoder-decoder mimarisi girdiyi tek bir sıkışık vektöre hapsetmek zorunda kalırdı; uzun girdilerde bilgi kaybı kaçınılmazdı. Çapraz dikkat bu darboğazı kaldırır — model her üretim adımında girdinin tamamına yeniden bakabilir. Modern çeviri, özetleme ve çok kipli (multimodal) modellerin kalitesi büyük ölçüde buna dayanır.

Kullanım alanları

Makine çevirisinde kaynak ve hedef dili hizalamak, metin özetlemede uzun belgeden doğru cümleleri çekmek, görselden metin üreten modellerde (image captioning) piksellerle kelimeleri eşlemek, ve retrieval sistemlerinde sorguyu belgeye bağlamak için kullanılır. Encoder-decoder yapısı olan hemen her yerde çapraz dikkat vardır.