Doğrulama Önyargısı (Confirmation Bias)

Doğrulama Önyargısı nedir?

Doğrulama önyargısı (confirmation bias), insanların mevcut inançlarını ve hipotezlerini destekleyen bilgileri arama, yorumlama ve hatırlama; çelişen bilgileri ise görmezden gelme ya da küçümseme eğilimidir. Psikolojinin en iyi belgelenmiş bilişsel önyargılarından biridir.

Makine öğrenmesi bağlamında bu önyargı, modeli geliştiren insanların beklentilerinin veri toplama, etiketleme, model seçimi ve sonuçların yorumlanmasına sızmasıyla ortaya çıkar. Bir yan dal olarak "deneyci önyargısı" (experimenter's bias) da kullanılır: araştırmacı, hipotezi doğrulanana kadar modeli eğitmeye ve ayarlamaya devam eder.

Nasıl çalışır?

Doğrulama önyargısı bir ML projesinin farklı aşamalarında şöyle görünür:

• Veri toplama: Ekip, hipotezini destekleyecek veri kaynaklarını seçer, diğerlerini "kalitesiz" diye eler.
• Etiketleme: Etiketleyiciler beklentilerine uyan etiketleri daha kolay verir. Belirsiz örneklerde kendi görüşleri ağır basar.
• Özellik seçimi: Anlamlı olduğuna inanılan özellikler modele eklenir, beklentiye uymayan sinyaller dışarıda kalır.
• Değerlendirme: İyi sonuç veren metrik raporlanır, kötü sonuç verenler "bu problem için uygun değil" denerek geçilir.
• Hata analizi: Model beklenen şekilde hata yapınca kabul edilir, beklenmedik şekilde başarılı olunca sızıntı olup olmadığı sorgulanmaz.

LLM kullanıcıları için bir boyut daha var: sohbet asistanlarına yönlendirici sorular sormak. "X'in neden doğru olduğunu açıkla" diye soran biri, genellikle X'i destekleyen bir cevap alır. Modellerin kullanıcıyı onaylama eğilimi (sycophancy) bu önyargıyla birleşince kişi kendi fikrinin yankısını duyar.

Neden önemli?

Doğrulama önyargısı, teknik olarak kusursuz görünen ama yanlış sonuca varan projeler üretir. Model metrikleri tatmin edicidir, sunum ikna edicidir, ama sistem gerçek dünyada beklenen işi yapmaz. Daha kötüsü, toplumsal önyargılar bu yolla modele gömülüp ölçeklenir.

Kullanım alanları

Doğrulama önyargısına karşı kullanılan pratikler:

• Önceden kayıt: Hangi metriklere bakılacağını ve başarı kriterini deneyden önce yazmak.
• Kör etiketleme: Etiketleyicilere hipotezi söylememek.
• Red teaming: Modeli çürütmek için ayrı bir ekip görevlendirmek.
• Ablation çalışmaları: Her bileşenin gerçek katkısını sistematik olarak ölçmek.
• LLM kullanımında: Soruyu tarafsız sormak ve modelden karşı argümanı da istemek.
• Çeşitli ekipler: Farklı geçmişlerden gelen insanlar, tek tip bir ekibin fark etmediği varsayımları daha kolay sorgular.