Kayan Pencere Dikkati (Sliding Window Attention)

Kayan Pencere Dikkati nedir?

Klasik transformer'da her token, metindeki diğer tüm token'lara bakar. Kulağa güzel geliyor ama bir sorun var: metin iki katına çıkınca hesap dört katına çıkıyor. 100 bin token'lık bir belgede bu, donanımın kaldıramayacağı bir yük demek.

Kayan pencere dikkati (sliding window attention) bu yükü şöyle kırar: her token'a "sen sadece kendi çevrendeki N token'a bak" der. Pencere boyutu sabittir — mesela 4096. Metin ne kadar uzarsa uzasın, tek bir token'ın iş yükü değişmez. Böylece maliyet karesel olmaktan çıkıp doğrusal hale gelir.

Nasıl çalışır?

Pencereyi bir el feneri gibi düşün. Metin karanlık bir koridor; fener sadece bulunduğun noktanın etrafındaki birkaç metreyi aydınlatıyor. Her adımda fener seninle birlikte kayıyor — adı buradan geliyor.

Peki koridorun başındaki bilgi sona nasıl ulaşıyor? Katmanlar sayesinde. İlk katmanda 1. token sadece komşularını görür. İkinci katmanda komşularının komşularından haber alır. Katman sayısı arttıkça bu görüş alanı katlanarak genişler — 12 katman ve 512''lik pencereyle etkin erişim binlerce token''a çıkar. CNN''lerdeki receptive field mantığının aynısı.

Pratikte çoğu model bunu tek başına kullanmaz. Longformer''ın önerdiği düzen şu: bazı özel token''lara (soru cümlesi, sınıflandırma token''ı gibi) global attention •tüm metne bakma izni• verilir, geri kalan herkes pencereyle idare eder. Bazı mimariler de katmanları karıştırır — birkaç katman pencereli, arada bir katman tam dikkatli.

Neden önemli?

Uzun context window''ları mümkün kılan tekniklerin başında geliyor. Bir modelin "200 bin token okuyabiliyorum" demesinin arkasında genelde bu ailenin bir üyesi vardır. Yan faydası KV cache''in küçülmesi: pencere dışındaki anahtar-değer çiftlerini bellekte tutmaya gerek kalmaz, VRAM tüketimi ciddi düşer.

Bedeli de var. Uzak bağlantılar dolaylı kurulduğu için, metnin iki ucundaki ince bir ilişkiyi model kaçırabiliyor. Bu yüzden "uzun context" iddiası ile "uzun context''te iyi performans" aynı şey değil.

Kullanım alanları

• Uzun belge özetleme ve soru-cevap (sözleşme, dava dosyası, akademik makale)
• Kod tabanı analizi — binlerce satırlık dosyaları tek seferde okuyan araçlar
• Uzun sohbet geçmişi tutan asistanlar
• Yerel çalışan modeller — sınırlı VRAM''de uzun metin işlemenin en pratik yolu