Top-k Doğruluğu (Top-k Accuracy)

Top-k Doğruluğu nedir?

Top-k doğruluğu (top-k accuracy), bir sınıflandırma modelinin başarısını ölçmek için kullanılan bir metriktir. Modelin en yüksek olasılık verdiği k tahmin arasında doğru cevap bulunuyorsa, o örnek doğru sayılır. Standart doğruluk (top-1 accuracy), sadece modelin en güçlü tahmininin doğru olmasını kabul eder; top-k ise daha esnektir.

Örneğin bir görüntü sınıflandırma modeli bir fotoğraf için en olası beş sınıfı şöyle sıralamış olsun: "husky", "kurt", "alaska malamutu", "tilki", "çakal". Fotoğraftaki hayvan aslında alaska malamutuysa, bu tahmin top-1 doğruluğuna göre yanlış, ama top-3 ve top-5 doğruluğuna göre doğru kabul edilir.

Nasıl çalışır?

Hesaplama basittir:

• Sıralama: Her örnek için model tüm sınıflara bir olasılık ya da skor atar ve bu skorlar büyükten küçüğe sıralanır.
• Kontrol: İlk k sıradaki sınıflar arasında doğru etiket var mı diye bakılır.
• Oran: Doğru etiketin ilk k içinde bulunduğu örneklerin sayısı, toplam örnek sayısına bölünür.

k değeri büyüdükçe top-k doğruluğu ya aynı kalır ya da artar; asla azalmaz. k, toplam sınıf sayısına eşit olduğunda doğruluk her zaman yüzde 100'dür. Bu yüzden k değerini seçerken uygulamanın gerçek ihtiyacı göz önünde bulundurulmalıdır.

Yaygın kullanılan değerler top-1 ve top-5'tir. Büyük ölçekli görüntü sınıflandırma yarışmaları uzun yıllar hem top-1 hem de top-5 hata oranlarını raporladı.

Neden önemli?

Çok sayıda sınıf içeren problemlerde, sınıflar arasındaki sınırlar her zaman net değildir. Birbirine çok benzeyen köpek ırklarını, benzer ürün kategorilerini ya da eş anlamlı kelimeleri ayırt etmek, insanlar için bile zor olabilir. Bu durumlarda top-1 doğruluğu, modelin gerçek başarısını olduğundan düşük gösterebilir. Top-k doğruluğu, modelin doğru cevabı "yakaladığını" ama birinci sıraya koyamadığını görünür kılar.

Ayrıca birçok uygulama zaten tek bir cevap değil, bir öneri listesi sunar. Arama sonuçları, otomatik tamamlama ve öneri sistemleri gibi. Bu tür sistemlerde top-k doğruluğu, kullanıcı deneyimini daha gerçekçi yansıtır.

Dikkat edilmesi gereken nokta: Top-k doğruluğu yüksek ama top-1 doğruluğu düşük bir model, tek bir karar vermesi gereken uygulamalar için uygun olmayabilir.

Kullanım alanları

• Görüntü sınıflandırma: Binlerce sınıflı veri kümelerinde model karşılaştırması.
• Öneri sistemleri: Kullanıcının seçtiği öğenin ilk k öneri arasında olup olmadığını ölçmek.
• Otomatik tamamlama: Doğru kelimenin önerilen ilk birkaç seçenek arasında çıkma oranı.
• Bilgi erişimi ve RAG: Doğru belgenin getirilen ilk k belge arasında olup olmadığını değerlendirmek.
• Tıbbi karar destek: Doğru tanının, modelin önerdiği olası tanılar listesinde yer alıp almadığını ölçmek.