Tekrar Cezası (Repetition Penalty)

Tekrar cezası nedir?

Repetition penalty, bir dil modelinin daha önce ürettiği token'ları yeniden seçmesini zorlaştıran bir ayardır. Model bazen aynı kelimeye, cümleye, hatta paragrafa saplanıp döngüye girer — tekrar cezası tam bu sorunu hedefler. Geçmişte geçen token'ların skorunu bir katsayıyla bölerek seçilme şanslarını düşürür.

Nasıl çalışır?

Yöntem, 2019 tarihli CTRL makalesinde (Keskar ve arkadaşları) formülleştirildi. Mantık çarpımsaldır: 1'den büyük bir katsayı (örneğin 1.1–1.3) belirlersin, model daha önce kullandığı bir token'ı yeniden değerlendirirken o token'ın logit •modelin bir token'a verdiği ham skor• değeri bu katsayıya bölünür. Sonuç, tekrar eden adayların olasılığının düşmesidir.

Katsayı 1 ise ceza yok. Çok yükseltirsen model kendini tekrar etmekten o kadar kaçınır ki doğal tekrarları da bozar — sık geçmesi gereken bağlaçlardan bile kaçar, metin garipleşir. Tatlı nokta genelde 1.1 ile 1.2 arası.

Neden önemli?

Özellikle küçük ve yerel modellerde tekrar döngüsü sık görülür. Repetition penalty, çıktıyı tek satır ayarla okunur hale getirebilir. Presence penalty ve frequency penalty ile akrabadır ama mekanizması farklıdır: o ikisi toplamsal (ekleyerek) ceza uygular, repetition penalty çarpımsaldır.

Kullanım alanları

Uzun metin üretimi, hikâye ve sohbet botlarında döngüyü kırmak için kullanılır. Yapılandırılmış çıktıda (JSON, tablo) ise dikkatli olmak gerekir: tekrar etmesi gereken anahtarları da cezalandırıp formatı bozabilir. Yerel model çalıştırıyorsan ilk dokunacağın ayarlardan biri.