Kesinlik ve Duyarlılık (Precision & Recall)
Araç kavramlarıPrecision ve Recall nedir?
Bir sınıflandırma modeli ne kadar iyi? "Doğruluk" (accuracy) çoğu zaman yanıltıcıdır, özellikle veri dengesizse. İşte burada kesinlik (precision) ve duyarlılık (recall) devreye girer. Kesinlik, modelin "pozitif" dediği örneklerin gerçekten kaçının pozitif olduğunu ölçer: TP / (TP + FP). Duyarlılık ise gerçek pozitiflerin kaçını yakalayabildiğini ölçer: TP / (TP + FN).
Nasıl çalışır?
Bir örnek: spam filtresi. Kesinlik yüksekse, spam dediği maillerin neredeyse hepsi gerçekten spamdır, yani yanlış alarm azdır. Duyarlılık yüksekse, gelen tüm spamların büyük kısmını yakalar, yani kaçırma azdır. Bu ikisi genelde ters orantılıdır: eşik değerini yükseltip "daha emin olmadan pozitif deme" dersen kesinlik artar ama bazı gerçek vakaları kaçırırsın, duyarlılık düşer. Tam tersi de geçerli. İkisini tek sayıda birleştirmek istersen F1 skoru, yani harmonik ortalama kullanılır.
Neden önemli?
Hangisinin önemli olduğu işe bağlı. Kanser taramasında duyarlılık kritiktir — bir hastayı kaçırmak, yanlış alarmdan çok daha pahalıdır. Spam filtresinde kesinlik öne çıkar — önemli bir maili çöp kutusuna atmak istemezsin. Tek bir doğruluk rakamına bakmak, dengesiz veride modelin gerçekte ne yaptığını gizler; precision ve recall bu maskeyi kaldırır.
Kullanım alanları
Tıbbi teşhis, dolandırıcılık tespiti, bilgi getirme ve arama motorları, içerik moderasyonu ve her türlü dengesiz sınıflandırma probleminde model değerlendirmenin standart metriğidir. Confusion matrix ile birlikte okunur, F1 skoru ile özetlenir.
