Karşılıklı Bilgi (Mutual Information)

Karşılıklı Bilgi nedir?

Karşılıklı bilgi, iki değişkenin birbiriyle ne kadar bağlantılı olduğunu ölçen bir değer. Bir değişkeni bildiğinde diğeri hakkında ne kadar fikir sahibi oluyorsun? İşte bunu sayıya döküyor. Değeri hiçbir zaman eksi olmuyor; sıfır çıkması iki değişkenin tamamen bağımsız olduğu anlamına geliyor, değer büyüdükçe aralarındaki bağ da güçleniyor.

En güzel yanı, sadece düz (doğrusal) ilişkileri değil, her türlü istatistiksel bağı yakalayabilmesi. Pearson korelasyonu gibi klasik ölçüler yalnızca doğrusal ilişkiyi görür; iki değişken eğri bir ilişkiyle bağlıysa korelasyon "ilişki yok" diyebilir ama karşılıklı bilgi bu bağı fark eder.

Nasıl çalışır?

Mantığı belirsizlik üzerine kurulu. Bir değişken hakkında ne kadar belirsizlik olduğunu entropi entropy •bir değişkendeki belirsizliğin ölçüsü• ile ölçüyoruz. Karşılıklı bilgi de şunu soruyor: ikinci değişkeni öğrendiğimde ilk değişkene dair belirsizlik ne kadar azalıyor? Azalma ne kadar büyükse bağ o kadar güçlü.

Pratikte bu değeri doğrudan hesaplamak zor olabiliyor; o yüzden scikit-learn gibi araçlar en yakın komşu k-nearest neighbors •bir noktaya en yakın örneklere bakarak tahmin yapma• mesafelerine dayanan parametresiz yöntemlerle tahmin ediyor. Bu yaklaşım güçlü ama güvenilir sonuç için yeterince örnek ister.

Neden önemli?

Doğrusal olmayan ilişkileri de görebilmesi, onu özellik seçimi feature selection •modele en çok katkı veren değişkenleri ayıklama• için çok değerli kılıyor. Elinde yüzlerce özellik varsa, hedefle en yüksek karşılıklı bilgiye sahip olanları seçip gerisini eleyebilirsin. Böylece model hem sadeleşiyor hem de gürültüden kurtuluyor.

Kullanım alanları

Özellik seçiminde (scikit-learn'de mutual_info_classif ve mutual_info_regression), görüntü hizalama, dil işleme ve değişkenler arası bağımlılığı ölçmek gereken her yerde kullanılıyor. Sınıflandırma probleminde hedef ayrık, regresyonda sürekli olduğunda ona göre doğru sürümü seçmen gerekiyor; yanlışını kullanırsan sonuç işe yaramaz.