Sıcaklık (Temperature)

Sıcaklık (temperature) nedir?

Temperature, bir dil modelinin çıktı üretirken ne kadar rastgele davranacağını kontrol eden bir parametredir. Genellikle 0 ile 2 arasında bir değer alır. Düşük değerlerde model en olası seçimlere yapışır ve tutarlı, tahmin edilebilir cevaplar verir; yüksek değerlerde ise daha az olası kelimeleri de işin içine katar, böylece çıktı daha çeşitli ve yaratıcı ama bazen daha dağınık olur.

Nasıl çalışır?

Bir dil modeli her adımda bir sonraki token için olasılık dağılımı üretir. Temperature, bu dağılımın ne kadar keskin ya da ne kadar düz olacağını ayarlar. Matematiksel olarak, olasılıklar softmax •sayıları olasılığa çeviren fonksiyon• hesaplanmadan önce temperature değerine bölünür. Değer 1'e yakınsa dağılım olduğu gibi kalır. 0'a yaklaştıkça en yüksek olasılıklı token neredeyse kesin seçilir — buna greedy •hep en olası seçeneği alan• davranış denir. Değer büyüdükçe düşük olasılıklı token'ların da seçilme şansı artar.

Neden önemli?

Aynı prompt'u aynı modele verip farklı sonuçlar almanın en büyük sebeplerinden biri temperature'dır. Bir görevde doğruluk ve tutarlılık istiyorsan düşük tutarsın; beyin fırtınası, şiir ya da farklı fikirler istiyorsan yükseltirsin. Yanlış ayarlanmış bir temperature, iyi bir modeli bile ya sıkıcı ya da güvenilmez gösterebilir.

Kullanım alanları

Kod üretimi, veri çıkarma ve özetleme gibi kesinlik isteyen işlerde genelde 0 ile 0.3 arası kullanılır. Yaratıcı yazım, reklam metni, fikir üretme gibi işlerde 0.7 ile 1.2 arası tercih edilir. Çoğu API'de temperature'ı tek tek ayarlayabilirsin; doğru değeri bulmak çoğu zaman deneme yanılma işidir.