Bildirme Önyargısı (Reporting Bias)

Bildirme Önyargısı nedir?

Bildirme önyargısı (reporting bias), belirli olayların, sonuçların ya da özelliklerin hakkında yazılma veya raporlanma sıklığının, gerçek dünyadaki yaygınlıklarını doğru yansıtmaması durumudur. İnsanlar olağanüstü, şaşırtıcı ya da ilginç olanı yazmaya eğilimlidir; sıradan olanı ise genellikle söylemeye gerek görmezler.

Klasik bir örnek: İnternetteki metinlerde "cinayet" kelimesi, "nefes almak" kelimesinden çok daha sık geçebilir. Bu metinlerle eğitilen bir model, dünyada cinayetin nefes almaktan daha yaygın olduğu sonucuna varabilir. Oysa herkes nefes alır; sadece kimse bundan bahsetmez.

Nasıl çalışır?

Bildirme önyargısı, özellikle insanların ürettiği metinlerden öğrenen modellerde kendini gösterir. Birkaç tipik görünümü şöyledir:

• Sıradan bilginin eksikliği: "Muz sarıdır" nadiren yazılır, çünkü herkes bilir. Ama "yeşil muz" ya da "kahverengi muz" daha sık yazılır, çünkü dikkat çekicidir. Model bu yüzden muzun rengi hakkında çarpık bir izlenim edinebilir.
• Uç deneyimlerin fazla temsil edilmesi: Ürün yorumlarını genellikle çok memnun ya da çok kızgın müşteriler yazar. Ortalama memnuniyetteki sessiz çoğunluk görünmez.
• Olumsuz sonuçların raporlanmaması: Bilimsel yayınlarda başarılı deneyler başarısızlara göre çok daha sık yayımlanır. Buna yayın yanlılığı da denir.
• Haber değeri: Uçak kazaları, trafik kazalarına göre çok daha fazla habere konu olur; bu da risk algısını çarpıtır.

Neden önemli?

Büyük dil modelleri, dünyayı büyük ölçüde internetteki metinler aracılığıyla öğrenir. Bu metinler dünyanın kendisini değil, insanların dünya hakkında yazmaya değer bulduklarını yansıtır. Bu yüzden modeller, açıkça yazılmayan sağduyu bilgisinde (common sense) zaman zaman şaşırtıcı hatalar yapabilir ve olağandışı olayların sıklığını abartabilir.

Duygu analizi ve öneri sistemlerinde de bildirme önyargısı, kullanıcı memnuniyeti ya da ürün kalitesi hakkında yanıltıcı sonuçlara yol açabilir.

Kullanım alanları

Bildirme önyargısını hesaba katmak ve azaltmak için:

• Veri analizi: Kullanıcı yorumlarını değerlendirirken yorum yazmayan kitlenin de olduğunu unutmamak.
• Sağduyu veri kümeleri: Açıkça yazılmayan günlük bilgileri özel olarak derleyip modellere öğretmek.
• Çok kaynaklı veri: Metin dışında görüntü, sensör verisi ve yapılandırılmış veri gibi kaynaklarla dengelemek.
• Model değerlendirmesi: Modellerin sıradan olayların sıklığı hakkındaki tahminlerini ayrıca test etmek.
• Araştırma değerlendirmesi: Olumsuz sonuçların da raporlandığı çalışmalara ve ön kayıtlı deneylere öncelik vermek.