Bellek (Memory)

Bellek (Memory) nedir?

AI bağlamında bellek, bir modelin veya ajanın önceki etkileşimlerden elde ettiği bilgiyi saklayıp ilerleyen adımlarda kullanabilmesi anlamına gelir. Bu, bir chatbot'un konuşma geçmişini hatırlamasından, bir ajanın uzun vadeli görev bağlamını korumasına kadar geniş bir yelpazeyi kapsar.

Nasıl çalışır?

Bellek genellikle dört katmana ayrılır:

1. In-context bellek: Mevcut context window içinde tutulan bilgi. En basit ve en yaygın form. Model yeni bir istek aldığında önceki mesajlar prompt'a eklenir. Sınırı: context window dolduğunda eski bilgi düşer.

2. External bellek (dış bellek): Vektör veritabanları, arama motorları veya düz dosyalar gibi dış sistemlerde saklanan bilgi. Ajan ihtiyaç duyduğunda bu sistemleri sorgular. RAG bu kategoriye girer.

3. In-weights bellek: Fine-tuning ile modelin ağırlıklarına işlenmiş bilgi. Değiştirmesi pahalı ama kalıcı.

4. In-cache bellek: KV Cache gibi hesaplama optimizasyonları. Aynı prefix'i defalarca işlemek yerine cache'den çeker.

Neden önemli?

Bellek olmadan her konuşma sıfırdan başlar. Kullanıcının adını, tercihlerini, daha önce yaptığı işlemleri ajan "unutur". Bu, uzun vadeli görevlerde ve kişiselleştirilmiş deneyimlerde kritik bir eksiklik yaratır.

Ajan sistemlerinde bellek; görev planlama, hata düzeltme ve araç kullanımıyla birlikte çalışır. Bir ajan geçmiş adımları hatırlayamazsa döngüye girer veya tutarsız kararlar alır.

Kullanım alanları

• Kişisel asistan ajanları: Kullanıcı tercihlerini, takvim bilgilerini ve önceki görevleri hatırlar.
• Müşteri hizmetleri botları: Önceki destek taleplerini bağlar, aynı sorunu tekrar sormaz.
• Araştırma ajanları: Uzun web tarama oturumlarında topladığı bilgileri biriktirir.
• Kod asistanları: Proje dosyalarını ve önceki kararları bağlam olarak tutar.
• Çok adımlı iş akışları: Her adımın çıktısını sonraki adıma taşır.