Sonradan Eğitim (Post-training)

Sonradan Eğitim nedir?

Sonradan eğitim (post-training), bir büyük dil modelinin ön eğitim (pretraining) aşaması tamamlandıktan sonra uygulanan tüm eğitim adımlarının genel adıdır. Ön eğitimde model, devasa miktarda metin üzerinde bir sonraki token'ı tahmin etmeyi öğrenir ve dünya hakkında geniş bir bilgi edinir. Ancak bu "ham" model, kullanıcıyla sohbet etmekte, talimatları takip etmekte ya da güvenli davranmakta pek iyi değildir.

Sonradan eğitim, bu ham modeli kullanışlı bir asistana dönüştürür. Ön eğitim modele bilgi kazandırır; sonradan eğitim ise o bilgiyi nasıl kullanacağını öğretir.

Nasıl çalışır?

Sonradan eğitim genellikle birkaç aşamadan oluşur:

• Denetimli ince ayar (SFT): Model, insanların ya da güçlü modellerin hazırladığı yüksek kaliteli soru-cevap örnekleriyle eğitilir. Böylece talimatları takip etmeyi ve belirli bir formatta cevap vermeyi öğrenir.
• Tercih optimizasyonu: Modele aynı soruya verilmiş iki farklı cevaptan hangisinin daha iyi olduğunu gösteren veriler sunulur. RLHF, DPO ve benzeri yöntemler bu aşamada kullanılır. Amaç, modeli daha yardımsever, dürüst ve zararsız hale getirmektir.
• Pekiştirmeli öğrenme ile akıl yürütme: Matematik ve kodlama gibi doğruluğu otomatik kontrol edilebilen görevlerde, model doğru cevaba ulaştığında ödüllendirilir. Bu, akıl yürütme becerilerini önemli ölçüde geliştirebilir.
• Güvenlik eğitimi: Zararlı isteklere uygun şekilde yanıt vermeyi ve jailbreak girişimlerine direnmeyi öğretmek.
• Uzmanlaşma: Araç kullanımı, uzun context, çok dillilik ya da belirli alanlarda ek eğitim.

Bu aşamalar genellikle ön eğitime göre çok daha az hesaplama gücü gerektirir, ama veri kalitesine son derece duyarlıdır.

Neden önemli?

Son yıllarda model kalitesindeki büyük sıçramaların önemli bir kısmı, ön eğitimden çok sonradan eğitimdeki ilerlemelerden geldi. Aynı ön eğitimli modelden, farklı sonradan eğitim tarifleriyle davranışı çok farklı asistanlar elde edilebilir. Modelin kişiliği, tonu, neyi reddettiği ve ne kadar iyi akıl yürüttüğü büyük ölçüde bu aşamada şekillenir.

Kavramsal olarak, sonradan eğitimin modele yeni bilgi eklemekten çok, var olan yetenekleri ortaya çıkardığı ve yönlendirdiği düşünülür.

Kullanım alanları

• Sohbet asistanları: Ham modelleri talimat takip eden asistanlara dönüştürmek.
• Akıl yürütme modelleri: Pekiştirmeli öğrenmeyle çok adımlı problem çözme becerisini güçlendirmek.
• Güvenlik ve hizalama: Model davranışını insan değerleriyle uyumlu hale getirmek.
• Kurumsal modeller: Belirli bir şirketin üslubuna ve görevlerine uyarlanmış versiyonlar üretmek.
• Ajan yetenekleri: Araç çağırma ve çok adımlı görev yürütme becerilerini geliştirmek.