Frekans Cezası (Frequency Penalty)

Frequency Penalty nedir?

Frequency penalty (frekans cezası), bir dil modelinin aynı kelimeleri tekrar tekrar kullanmasını engellemek için kullanılan bir üretim ayarı. Bir token metinde ne kadar çok geçtiyse, o token'ın bir daha seçilme olasılığını o kadar düşürür. Yani ceza, kelimenin kullanım sıklığıyla orantılı olarak büyür.

Nasıl çalışır?

Model bir sonraki token'ı seçmeden önce, o ana kadar üretilmiş metindeki token frekanslarına bakar. Sık geçen token'ların logit değerleri, frekanslarıyla orantılı biçimde aşağı çekilir. Değer genelde -2.0 ile 2.0 arasında ayarlanır; pozitif değerler tekrarı caydırır, negatif değerler tam tersine teşvik eder. Bu yönüyle presence penalty'den ayrılır: presence penalty bir token'a "daha önce geçti mi?" diye sabit bir ceza verir, frequency penalty ise "kaç kez geçti?" sorusuna göre cezayı ölçekler. repetition penalty da benzer amaca hizmet eder ama çarpımsal çalışır.

Neden önemli?

Uzun metin üretiminde modeller döngüye girip aynı ifadeleri tekrarlamaya meyilli. Frequency penalty bu takılma sorununu yumuşatır, çıktıyı daha çeşitli ve doğal kılar. Doğru ayarlandığında metnin akıcılığını korurken kelime tekrarını azaltır; aşırıya kaçınca da model anlamlı ama gerekli kelimelerden kaçmaya başlar, o yüzden dengesini bulmak önemli.

Kullanım alanları

• Uzun blog veya makale üretiminde tekrar azaltma
• Yaratıcı yazımda kelime çeşitliliğini artırma
• Chatbot yanıtlarının monotonlaşmasını önleme
• temperature ve top-p ile birlikte ince ayar