Çok Başlı Dikkat (Multi-Head Attention)

Multi-Head Attention nedir?

Multi-head attention (çok başlı dikkat), Transformer mimarisinin temel yapı taşı. Tek bir attention hesabı yerine, model aynı girdiyi birden fazla paralel "kafa" (head) üzerinden işler. Her kafa, kelimeler arasındaki farklı türde ilişkiye odaklanır — biri dilbilgisel bağı, diğeri anlamsal yakınlığı, bir başkası uzak mesafeli bağlantıyı yakalar.

Nasıl çalışır?

Her token için üç vektör üretilir: query, key ve value. Attention, bir token'ın query'sini diğer tüm token'ların key'leriyle karşılaştırıp bir ağırlık skoru çıkarır, sonra value'ları bu ağırlıkla toplar. Multi-head'de bu işlem tek sefer değil, örneğin 8, 16 ya da daha fazla kafayla eşzamanlı yapılır. Her kafa girdiyi kendi öğrenilmiş projeksiyonuyla farklı bir alt-uzaya taşır, kendi attention'ını hesaplar, sonra tüm kafaların çıktısı birleştirilip tek bir vektöre indirilir. Böylece model, tek bir ortalama yerine çok sayıda ilişki desenini aynı anda taşır.

Neden önemli?

2017'deki "Attention Is All You Need" makalesiyle gelen bu fikir, RNN ve LSTM'lerin sıralı işleme darboğazını kaldırdı. Multi-head yapı, modelin metnin her yerine paralel bakmasını sağlar; bu hem eğitim hızını hem de uzun bağlamı yakalama gücünü artırır. Bugün kullandığın her LLM'in çekirdeğinde bu mekanizma var.

Kullanım alanları

Metin üretimi, çeviri, kod tamamlama, görsel-dil modelleri... token dizisi işleyen hemen her modern model multi-head attention kullanır. Farklı kafaların ne öğrendiğini incelemek, modelin nasıl "düşündüğünü" çözmeye çalışan interpretability araştırmalarının da başlıca konusu.