Bağlam İçi Öğrenme (In-Context Learning)

Bağlam İçi Öğrenme nedir?

Bağlam içi öğrenme (in-context learning — ICL), büyük dil modellerinin herhangi bir gradient güncellemesi veya fine-tuning olmaksızın, sadece prompt içine yerleştirilen örnek giriş-çıkış çiftlerini okuyarak yeni görevleri öğrenmesi ve uygulamasıdır.

GPT-3'ün 2020'deki tanıtımıyla popülerleşen bu yetenek, "modeli yeniden eğitmene gerek yok, sadece birkaç örnek göster ve bekle" fikrini hayata geçiriyor.

Nasıl çalışır?

Klasik öğrenmede model parametreleri güncellenir. ICL'de ise parametreler sabit kalır; model, prompt'un içindeki örüntüyü "okuyarak" tahminini yapar.

Tipik ICL prompt yapısı:

Giriş: Merhaba → Çıkış: Pozitif
Giriş: Berbat bir gün → Çıkış: Negatif
Giriş: Harika haber! → Çıkış: ?

Model son satırın cevabını önceki örneklerden çıkarım yaparak tamamlar — herhangi bir ağırlık değişikliği olmadan.

GPT-3 paper'ında üç mod karşılaştırıldı: bağlam penceresine sığan sayıda örnek verilen few-shot (genellikle 10-100 örnek), tek örnek verilen one-shot, ve hiç örnek verilmeyen zero-shot. Önemli bir bulgu: model büyüdükçe ICL'den kazanılan performans artışı da hızlanıyor — yani ICL büyük modellerde çok daha etkili.

Neden önemli?

ICL, modellerin yeniden eğitime gerek kalmadan hızla yeni görevlere adapte olabildiğini gösterdi. Bu, AI kullanımını demokratikleştirdi: bir ML mühendisi olmana gerek yok, iyi bir prompt yazmak yeterli.

Aynı zamanda ICL'nin neden işe yaradığı teorik açıdan hâlâ tartışmalı. Bazı araştırmacılar modelin "meta-öğrenme" yaptığını savunurken bazıları bunun gelişmiş örüntü eşleştirmesi olduğunu söylüyor.

Kullanım alanları

• Hızlı prototipleme: Fine-tuning yerine prompt örnekleriyle model davranışını şekillendirmek
• Az veriyle çalışma: Etiketli veri yokken birkaç örnek yeterliyse ICL tercih edilir
• Görev transferi: Modeli farklı domain'lere hızlı adapte etmek
• Prompt mühendisliği: Sistematik örnek seçimi ile ICL performansını artırmak