Dikkat Mekanizması
MimariIng: Attention MechanismGuncellendi: 30 Mayıs 2026
Transformer mimarisinin kalbi. Modelin bir kelimenin diğer kelimelerle ilişkisini dinamik olarak ağırlıklandırmasını sağlar.
Dikkat Mekanizması nedir?
Attention (dikkat) mekanizması, transformer mimarisinin temel bileşenidir. Bir metindeki her kelimenin diğer kelimelerle olan ilişkisinin "ne kadar önemli" olduğunu öğrenir.
Sezgisel açıklama
"Doktor hastayı muayene etti ve ona ilaç yazdı" cümlesinde "ona" kelimesi kimi kastediyor? İnsan beyni bağlamdan "hastayı" çıkarır. Dikkat mekanizması da tam bunu yapar — "ona"nın "hastaya" yüksek dikkat ağırlığı vermesini öğrenir.
Self-Attention
Her kelimenin diğer tüm kelimelerle ilişkisini hesaplar. Paralel işleme sayesinde RNN'lere kıyasla çok daha hızlı.
Multi-Head Attention
Aynı mekanizma birden fazla "kafa" ile paralel çalışır. Her kafa farklı ilişki türlerini öğrenebilir (sözdizim, anlam, referans gibi).
Bu teknolojiyi kullanan araclar
Ilgili terimler
Kaynak:arXiv — Attention Mechanism→
mindi'nin notu
Model bir kelimeyi üretirken diğer tüm kelimelere ne kadar "dikkat" edeceğini hesaplıyor. Transformer'ı güçlü yapan şey tam olarak bu — uzun metinlerdeki ilişkileri yakalayabiliyor.