Bağlam Taşması (Context Overflow)
Araç kavramlarıBağlam taşması nedir?
Context overflow, gönderdiğin metnin (prompt + sohbet geçmişi) modelin bağlam penceresi •modelin aynı anda işleyebildiği maksimum token miktarı•'ne sığmadığı durumdur. Pencere doluysa model yeni gelen her şeyi kabul edemez; bu noktada ne yapılacağını bir strateji belirler — genelde metnin bir kısmı kırpılır.
Nasıl çalışır?
En yaygın stratejiler şunlar: baştan kırpma (en eski mesajları at), sondan kırpma ve ortadan kırpma (truncate middle). LM Studio gibi araçlarda sık görülen ortadan kırpma, sistem prompt'unu ve ilk mesajı korur, ortadaki içeriği atar. Bunun sebebi modellerin dikkatinin metnin başına ve sonuna yoğunlaşması, ortadaki bilgiyi daha zayıf işlemesidir — yani en az zararlı kayıp ortadan olur.
Alternatif yaklaşım, kırpmak yerine içeriği özetlemektir: bağlamı modele özetletip yer açmak, bağlama duyarlı ama daha pahalı bir yöntemdir.
Neden önemli?
Uzun sohbetlerde ve büyük belgelerde er ya da geç bu duvara çarparsın. Hangi stratejiyi seçtiğin, modelin neyi hatırlayıp neyi unutacağını belirler. Yanlış strateji, kritik talimatı ortadan silip modeli raydan çıkarabilir. Doğru strateji, sınıra rağmen tutarlılığı korur.
Kullanım alanları
Uzun sohbet botları, belge analizi ve sürekli büyüyen geçmişle çalışan ajanlarda ayarlanır. Sistem talimatının her zaman korunması gerekiyorsa ortadan kırpma mantıklıdır. Önemli bilgi sohbetin başındaysa baştan kırpmadan kaçınmak gerekir. En sağlıklısı: bağlamı taşırmadan, gerektiğinde özetleyerek yönetmek.
