Otomasyon Önyargısı (Automation Bias)

Otomasyon Önyargısı nedir?

Otomasyon önyargısı (automation bias), bir karar vericinin otomatik bir sistemin önerisini, sistem hata yaptığında bile kabul etme eğilimidir. İnsan, makinenin çıktısını kendi gözlemine ve eleştirel düşüncesine tercih eder. Navigasyon uygulaması "sağa dön" dediği için çıkmaz sokağa giren sürücü, bu önyargının gündelik bir örneğidir.

Bu önyargı iki türlü hataya yol açar. Birincisi yapma hatası: sistem yanlış bir şey önerir, insan uygular. İkincisi ihmal hatası: sistem bir sorunu fark etmez, insan da sistem uyarı vermediği için sorunu gözden kaçırır.

Nasıl çalışır?

Otomasyon önyargısının birkaç psikolojik kaynağı var. Otomatik sistemler tutarlı ve "objektif" algılanır. Sürekli doğru çalışan bir sistem, zamanla dikkatli kontrol ihtiyacını azaltır; insanlar kontrol etmeyi bırakır. Yoğun iş yükü ve zaman baskısı da bu eğilimi güçlendirir, çünkü sistemin cevabını kabul etmek en az çaba gerektiren seçenektir. Ayrıca bir karar yanlış çıktığında "sistem öyle söyledi" demek, sorumluluğu paylaşmak gibi hissettirir.

Büyük dil modelleri bu önyargıyı yeni bir boyuta taşıdı. LLM'ler akıcı, kendinden emin ve iyi biçimlendirilmiş cevaplar üretir. Halüsinasyon içeren bir cevap bile ikna edici görünebilir. Akıcılık, doğrulukla karıştırılır.

Neden önemli?

Yapay zeka araçları sağlık, hukuk, finans ve yazılım gibi kritik alanlara girdikçe otomasyon önyargısının maliyeti büyüyor. Bir hekim, tanı destek sisteminin kaçırdığı bir bulguyu gözden kaçırabilir. Bir geliştirici, AI asistanının önerdiği güvenlik açığı içeren kodu incelemeden kabul edebilir. Bir avukat, var olmayan içtihatları mahkemeye sunabilir; bu tür vakalar gerçekten yaşandı.

Human-in-the-loop tasarımların amacı insanı kontrol noktasına koymaktır, ama insan otomasyon önyargısına düşüyorsa bu kontrol sadece kâğıt üzerinde kalır.

Kullanım alanları

Otomasyon önyargısını azaltmak için kullanılan yaklaşımlar:

• Belirsizlik göstermek: Sistemin güven skorunu ve emin olmadığı noktaları açıkça göstermesi.
• Kaynak göstermek: LLM cevaplarında doğrulanabilir referans sunmak (grounding).
• Önce insan kararı: Kullanıcının önce kendi değerlendirmesini yapıp sonra sistem önerisini görmesi.
• Eğitim: Kullanıcılara sistemin bilinen hata türlerini öğretmek.
• Denetim: Rastgele örneklerle insan-makine kararlarını sonradan incelemek.