Öğretmen Zorlaması (Teacher Forcing)

Teacher Forcing nedir?

Teacher forcing (öğretmen zorlaması), kelime kelime ya da adım adım çıktı üreten modelleri (RNN, LSTM, encoder-decoder, transformer) eğitirken kullanılan bir yöntem. Fikir basit: model bir sonraki kelimeyi tahmin ederken, ona kendi ürettiği (muhtemelen hatalı) kelimeyi değil, veri setindeki gerçek doğru kelimeyi girdi olarak veriyorsun. Yani öğretmen sürekli doğru cevabı fısıldıyor.

Nasıl çalışır?

Diyelim model "kedi koltukta uyuyor" cümlesini üretmeyi öğreniyor. Adım adım gider: "kedi" verilir, model "koltukta" tahmin etmeye çalışır. Teacher forcing olmadan, modelin ikinci adımdaki girdisi kendi ilk tahminidir. Eğer ilk adımda yanlış bir kelime ürettiyse, hata birikir ve eğitim dağılır. Teacher forcing ile ikinci adımın girdisi her zaman gerçek "koltukta" kelimesidir; model kendi hatasına takılmadan doğru zemin üzerinden öğrenir. Bu, eğitimi hem hızlandırır hem de kararlı hale getirir.

Neden önemli?

Teacher forcing olmadan uzun dizileri eğitmek çok yavaş ve dengesizdir. Ama bir yan etkisi var: model eğitimde hep doğru geçmişi görür, gerçek kullanımda (inference) ise kendi ürettiği kelimeler üzerinden ilerlemek zorundadır. Bu farka exposure bias denir. Model bir kez hata yaparsa, hiç görmediği bir zemine düşer ve hatalar çığ gibi büyüyebilir.

Kullanım alanları

Makine çevirisi, metin özetleme, konuşma tanıma ve otoregressif dil modellerinin eğitiminin neredeyse tamamı teacher forcing üzerine kuruludur. Exposure bias'ı azaltmak için scheduled sampling gibi teknikler geliştirildi: eğitim ilerledikçe modele bazen kendi tahminini besleyerek gerçek dünyaya alıştırırlar.