Kalibrasyon (Calibration)

Kalibrasyon nedir?

Bir modelin verdiği olasılık/güven skorunun gerçeği ne kadar yansıttığıdır. İyi kalibre bir model "%80 eminim" dediği durumların gerçekten yaklaşık %80'inde haklı çıkar. Kötü kalibre bir model ise "%99 eminim" der ama yarısında yanılır — yani kendine olduğundan fazla güvenir.

Nasıl çalışır?

Model bir tahmin yaparken sadece cevabı değil, o cevaba dair bir güven değeri de üretir (bkz. softmax, logits). Kalibrasyonu ölçmek için bu güven değerlerini gerçek isabet oranlarıyla karşılaştırırsın: "%70 eminim" dediği tüm örnekleri topla, gerçekten kaçında haklı olduğuna bak. İkisi örtüşüyorsa model kalibredir. Örtüşmüyorsa temperature scaling gibi basit yöntemlerle güven skorları sonradan düzeltilebilir — modern derin ağların çoğu eğitildikleri haliyle fazla özgüvenli çıkar ve bu tür bir düzeltme gerektirir.

Neden önemli?

Güven skoruna bakarak karar veren her sistemde kritiktir. Tıbbi teşhis, kredi skorlama ya da otonom sürüşte model "%95 eminim" diyorsa, bu rakamın gerçekten güvenilir olması gerekir; yoksa yanlış kararı yüksek özgüvenle veren bir sistem elde edersin. Kalibrasyon, modelin ne zaman durup insana sorması gerektiğini de belirler.

Kullanım alanları

Risk taşıyan kararlarda (sağlık, finans, güvenlik) güven eşiği belirlemek; belirsizlik yüksekse işi insana devretmek; benchmark'larda sadece doğruluğa değil güvenin ne kadar dürüst olduğuna bakmak; ensemble ve confusion matrix analizleriyle birlikte modelin gerçek güvenilirliğini ölçmek.