Kara Kutu (Black Box)

Kara Kutu nedir?

Kara kutu, ne yaptığını görebildiğin ama içeride nasıl yaptığını göremediğin sistem demektir. Girdiyi verirsin, çıktıyı alırsın, arada dönen hesabı izleyemezsin. Derin öğrenme modellerinin çoğu bu yüzden kara kutu sayılır: doğru cevabı verirler ama "neden tam olarak bu cevap?" diye sorduğunda net, insanın takip edebileceği bir gerekçe çıkaramazsın.

Nasıl çalışır?

Bir dil modeli bir cevabı üretirken milyarlarca ağırlık ve katman arasında sayılar dolaşır. Teknik olarak her adımı yazıp dökebilirsin ama bu, "model bu kelimeyi neden seçti" sorusuna anlamlı bir cevap vermez — tıpkı bir insanın beynindeki her nöronun ateşlenmesini görsen bile "neden bu şakayı komik buldu" sorusuna cevap alamayacağın gibi. Kara kutu sıkıntısı buradan doğar: karar var, ama okunabilir bir gerekçe yok. Bu yüzden explainability (açıklanabilirlik) diye ayrı bir alan gelişti; amacı kutunun kapağını aralamak.

Neden önemli?

Kredi başvurusunu reddeden, tıbbi teşhis öneren ya da bir CV'yi eleyen bir model kara kutuysa, "neden?" sorusunun cevabı yoksa ortada ciddi bir güven ve sorumluluk sorunu var demektir. Avrupa'daki düzenlemeler ve pek çok kurumun iç politikası, kritik kararlarda açıklanabilirlik istemesinin sebebi tam da bu. Ayrıca kara kutu, modelin ne zaman yanlış yapacağını önceden kestirmeyi de zorlaştırır.

Kullanım alanları

Kara kutu bir eleştiri terimi olduğu kadar bir çalışma alanı da: modeli açmadan sadece girdi-çıktı davranışına bakarak test etmek (kara kutu testi), önemli girdileri işaretleyen yöntemler ve modelin kararını sadeleştirip gösteren araçlar hep bu problemi hafifletmeye çalışır. Karşıtı "cam kutu" ya da beyaz kutu, yani her adımı okunabilen karar ağacı gibi modellerdir.