Ayrımcı Etki (Disparate Impact)

Ayrımcı Etki nedir?

Ayrımcı etki (disparate impact), kararı veren sistem hassas bir özelliği açıkça kullanmasa bile, sonuçların belirli bir grubu orantısız şekilde olumsuz etkilemesi durumudur. Buradaki anahtar kelime "sonuç"tur: ayrımcılık yapma niyeti olmasa da etki ayrımcı olabilir.

Kavram, özellikle ABD iş hukukundan gelir ve yapay zeka etiği tartışmalarına buradan taşınmıştır. Örneğin bir işe alım modeli cinsiyet bilgisini hiç görmüyor olabilir, ama "belirli spor kulüplerine üyelik" ya da "kariyer boşluğu" gibi özellikler üzerinden kadın adayları sistematik olarak eleyebilir.

Nasıl çalışır?

Ayrımcı etki genellikle seçilme oranları karşılaştırılarak ölçülür. En bilinen kural "dörtte beş kuralı"dır: Bir grubun olumlu sonuç alma oranı, en yüksek orana sahip grubun yüzde 80'inin altındaysa potansiyel ayrımcı etki olduğu kabul edilir. Örneğin erkek adayların yüzde 50'si, kadın adayların yüzde 30'u mülakata çağrılıyorsa oran 0,6'dır ve eşiğin altında kalır.

Ayrımcı etkinin makine öğrenmesindeki kaynakları şunlardır:

• Vekil özellikler (proxy): Posta kodu, isim, okul gibi değişkenler hassas özelliği dolaylı olarak kodlar.
• Tarihsel önyargılı etiketler: Geçmiş kararlar ayrımcıysa, model onları doğru cevap sanıp öğrenir.
• Temsil eksikliği: Bir grup eğitim verisinde az temsil ediliyorsa, model o grupta daha kötü çalışır.

Bu kavramın kardeşi olan farklı muamele (disparate treatment) ise kararın doğrudan hassas özelliğe dayanmasıdır. Ayrımcı etki daha sinsidir, çünkü sistemin içine bakınca "cinsiyet" sütunu görünmez.

Neden önemli?

Hassas özelliği veri kümesinden silmek, çoğu zaman sorunu çözmez; sadece gizler. Ayrımcı etki kavramı, modelleri niyetlerine göre değil sonuçlarına göre değerlendirmeyi zorunlu kılar. Birçok ülkede iş, konut ve kredi alanlarında ayrımcılık yasaları sonuç odaklı denetimi mümkün kılar; yapay zeka düzenlemeleri de yüksek riskli sistemler için benzer denetimler öngörüyor.

Kullanım alanları

• İşe alım yazılımları: Aday eleme sistemlerinde grup bazlı seçilme oranlarını izlemek.
• Kredi ve sigorta: Fiyatlama ve onay kararlarında vekil değişkenleri tespit etmek.
• Kamu hizmetleri: Sosyal yardım ve denetim sistemlerinde orantısız etkiyi ölçmek.
• Model denetimi: Yayın öncesi adalet raporlarında zorunlu bir kontrol maddesi olarak kullanmak.