Eşitlenmiş Oranlar (Equalized Odds)

Eşitlenmiş Oranlar nedir?

Eşitlenmiş oranlar (equalized odds), bir sınıflandırma modelinin hatalarının hassas gruplar arasında eşit dağılmasını şart koşan adalet ölçütüdür. Daha teknik söylersek: model, gerçekte olumlu olan örnekleri her grupta aynı oranda doğru yakalamalı (doğru pozitif oranı) ve gerçekte olumsuz olan örnekleri her grupta aynı oranda yanlışlıkla olumlu işaretlemelidir (yanlış pozitif oranı).

Demografik eşitlikten farkı şudur: Demografik eşitlik sadece karar oranlarına bakar, eşitlenmiş oranlar ise gerçek sonucu da hesaba katar. Yani "herkese aynı oranda evet de" değil, "hak edene aynı oranda evet, hak etmeyene aynı oranda hayır de" der.

Nasıl çalışır?

Değerlendirme için her grup için ayrı bir confusion matrix çıkarılır. Ardından iki oran karşılaştırılır:

• Doğru pozitif oranı (recall): Gerçekten krediyi ödeyecek kişilerin yüzde kaçı onaylandı?
• Yanlış pozitif oranı: Krediyi ödemeyecek kişilerin yüzde kaçı yanlışlıkla onaylandı?

İki oran da gruplar arasında eşitse model eşitlenmiş oranları sağlar. Sadece doğru pozitif oranının eşitlenmesi istenirse buna fırsat eşitliği (equality of opportunity) denir; eşitlenmiş oranlar onun daha katı versiyonudur.

Pratikte bu ölçütü sağlamanın yaygın yolu karar aşamasında gruplara göre farklı eşikler kullanmaktır. Eğitim aşamasında adalet kısıtlı optimizasyon da uygulanabilir.

Neden önemli?

Bir modelin genel doğruluğu yüksek olabilir ama hataları belirli bir gruba yığılmış olabilir. Örneğin bir yüz tanıma sistemi ortalamada çok başarılı görünürken belirli bir ten rengindeki kişilerde çok daha sık yanlış eşleşme yapabilir. Eşitlenmiş oranlar, bu "ortalama içinde saklanan" haksızlığı görünür kılar.

Eşitlenmiş oranlar ile demografik eşitlik ve kalibrasyon gibi diğer ölçütlerin, gruplar arası temel oranlar farklıysa aynı anda sağlanamayacağı matematiksel olarak gösterilmiştir. Bu yüzden hangi ölçüte öncelik verileceği uygulamanın bağlamına göre seçilir.

Kullanım alanları

• Ceza adaleti: Risk skorlama araçlarının yanlış alarm oranını gruplar arasında karşılaştırmak.
• Sağlık: Tanı modellerinin farklı hasta gruplarında aynı oranda hastalık yakalayıp yakalamadığını denetlemek.
• Yüz tanıma: Hata oranlarını demografik gruplara göre raporlamak.
• İşe alım ve kredi: Hata dağılımına dayalı adalet denetimleri.