Denetimli İnce Ayar (SFT)

Denetimli İnce Ayar (SFT) nedir?

SFT, önceden eğitilmiş ham bir dil modeline, etiketli örnek çiftleri (girdi → istenen çıktı) göstererek belirli bir davranışı öğretme yöntemidir. Pretraining aşamasından çıkan model internetteki metni tahmin etmeyi bilir ama bir talimatı takip etmeyi tam beceremez. SFT bu boşluğu doldurur.

Nasıl çalışır?

İnsanlar tarafından hazırlanmış yüksek kaliteli örnekler kullanılır: bir soru ve onun ideal cevabı. Model bu çiftler üzerinde eğitilir ve verilen girdiye karşılık beklenen çıktıyı üretmeyi öğrenir. 'Denetimli' kelimesi buradan gelir — her örneğin doğru cevabı önceden bellidir, model bu hedefe göre ayarlanır.

SFT genellikle modern asistan eğitiminde ilk aşamadır. Sonrasında RLHF veya DPO gibi tercih hizalama adımları gelir.

Neden önemli?

Ham bir model teknik olarak güçlü olsa da kullanıcıyla düzgün konuşamaz, talimatı yanlış anlar ya da konudan sapar. SFT, modeli 'işe yarar' bir asistana çeviren temel basamaktır. Talimat takibi, format tutarlılığı ve ton bu aşamada şekillenir.

Kullanım alanları

Sohbet asistanları üretmek, modele belirli bir cevap formatı kazandırmak, alana özel davranış öğretmek (örneğin sadece JSON döndürmek) ve instruction-tuning veri setleriyle modeli talimat takip eder hale getirmek için kullanılır. Açık kaynak modellerin '-instruct' veya '-chat' versiyonları çoğunlukla bir SFT aşamasından geçmiştir.