Demografik Eşitlik (Demographic Parity)

Demografik Eşitlik nedir?

Demografik eşitlik (demographic parity), bir sınıflandırma modelinin olumlu sonuç verme oranının hassas bir özelliğe göre değişmemesini şart koşan adalet ölçütüdür. Hassas özellik; cinsiyet, yaş grubu, etnik köken ya da engellilik durumu gibi, kararın dayanmaması gereken bir nitelik olabilir.

Örneğin bir kredi onay modeli erkek başvuranların yüzde 40'ını onaylıyorsa, demografik eşitliğe göre kadın başvuranların da yaklaşık yüzde 40'ını onaylamalıdır. Başvuranların gerçekte krediyi geri ödeyip ödemediğine bakılmaz; sadece karar oranlarına bakılır.

Nasıl çalışır?

Ölçmek basittir: her grup için modelin olumlu tahmin oranı hesaplanır ve karşılaştırılır. Oranlar arasındaki fark ya da oran (en düşük grubun en yüksek gruba bölümü) raporlanır.

Demografik eşitliği sağlamak için üç noktada müdahale edilebilir:

• Veri aşamasında: Eğitim verisini yeniden örnekleyerek ya da ağırlıklandırarak gruplar arası dengesizliği azaltmak.
• Eğitim aşamasında: Loss fonksiyonuna adalet kısıtı ekleyerek modelin grup farkı üretmesini cezalandırmak.
• Karar aşamasında: Her grup için ayrı bir sınıflandırma eşiği belirleyerek olumlu oranları eşitlemek.

Önemli bir nokta: Hassas özelliği modelden çıkarmak demografik eşitliği sağlamaz. Posta kodu, okul adı ya da alışveriş alışkanlıkları gibi özellikler hassas bilgiyi dolaylı olarak taşıyabilir.

Neden önemli?

Demografik eşitlik, geçmişteki ayrımcılığın veriye işlendiği durumlarda güçlü bir araçtır. Eğer tarihsel işe alım verisi bir grubu sistematik olarak dışlamışsa, "gerçek etiketlere" sadık kalan bir model bu dışlanmayı sürdürür. Demografik eşitlik, sonuçlara doğrudan bakarak bu döngüyü kırmayı hedefler.

Eleştirisi de var: Gruplar arasında hedef değişkenin gerçek oranı farklıysa, demografik eşitliği zorlamak modelin doğruluğunu düşürebilir ve bazı bireyler için haksız sonuç doğurabilir. Bu yüzden tek başına değil, equalized odds ya da fırsat eşitliği gibi diğer ölçütlerle birlikte değerlendirilir. Araştırmalar, bu ölçütlerin çoğunun aynı anda tamamen sağlanamayacağını da gösteriyor; hangi ölçütün seçileceği teknik değil, etik ve hukuki bir karardır.

Kullanım alanları

• İşe alım: Özgeçmiş eleme sistemlerinde mülakata çağrılma oranlarını izlemek.
• Kredi ve sigorta: Onay oranlarının gruplara göre dağılımını denetlemek.
• Reklam gösterimi: İş ve konut ilanlarının farklı gruplara eşit ulaşıp ulaşmadığını kontrol etmek.
• Model denetimi: Yayına almadan önce adalet raporlarına temel metrik olarak eklemek.