Entropi (Entropy)

Entropi nedir?

Entropi, bir sistemdeki belirsizliğin ölçüsüdür. Bilgi kuramında Claude Shannon'ın tanımıyla: bir olayın sonucunu tahmin etmek ne kadar zorsa, entropisi o kadar yüksektir. Hilesiz bir zar yüksek entropilidir, çünkü altı sonuç da eşit olasıdır; her seferinde aynı yüze düşen hileli bir zarın entropisi sıfıra yakındır, çünkü sonucu baştan bellidir.

Nasıl çalışır?

Entropi, her olası sonucun olasılığı üzerinden hesaplanır — olasılıklar birbirine ne kadar yakınsa entropi o kadar yüksek olur. Yapay zekada bu kavram doğrudan modelin çıktısına yansır. Bir dil modeli, bir sonraki token için olasılık dağılımı üretir. Dağılım "ve" kelimesine %99 veriyorsa entropi düşüktür, model emindir; olasılıklar onlarca kelimeye eşit dağılmışsa entropi yüksektir, model kararsızdır.

Neden önemli?

Modellerin eğitiminde en yaygın kayıp fonksiyonu olan çapraz entropi (cross-entropy) doğrudan bu kavrama dayanır: model tahmini gerçek sonuçtan ne kadar saparsa ceza o kadar büyük olur. Perplexity de entropinin üstel halidir ve bir dil modelinin ne kadar "şaşkın" olduğunu ölçer. Yani modelin ne kadar iyi öğrendiğini ölçmek, aslında entropiyi ölçmektir. Sampling sırasında sıcaklık (temperature) ayarını çevirdiğinde de oynadığın şey çıktının entropisidir.

Kullanım alanları

• Kayıp fonksiyonları: çapraz entropi ile model eğitimi
• Sampling: yüksek entropili çıktı daha yaratıcı, düşük entropili daha kararlı
• Karar ağaçları: dallanma kriteri (information gain) entropiye dayanır
• Veri sıkıştırma: entropi teorik sıkıştırma sınırını belirler