Değerlendirme İskeleti (Evaluation Harness)

Değerlendirme iskeleti nedir?

Bir dil modelinin ne kadar iyi olduğunu ölçmek istersin. Tek bir soruyla bunu anlayamazsın; modeli yüzlerce farklı görevde, hep aynı kurallarla sınamak gerekir. Değerlendirme iskeleti (evaluation harness) tam bu işi yapan düzenektir: modeli bir sürü benchmark •modelleri karşılaştırmak için hazırlanmış standart test seti• üzerinde otomatik olarak çalıştırır ve puanları toplar.

İskelet kelimesi burada bir çatı anlamında. Modeli bu çatıya bağlarsın, çatı da testleri sırayla uygular, cevapları ölçer ve sonunda tek tek değil, derli toplu bir karne çıkarır.

Nasıl çalışır?

Değerlendirme iskeleti üç şeyi standart hale getirir: hangi testlerin sorulacağını, soruların modele nasıl verileceğini ve cevapların nasıl puanlanacağını.

Önce bir test kataloğu vardır. İskelet bu testleri tek tek alır, her birini modele aynı kalıpta sorar. Çoğu zaman modele birkaç örnek de gösterilir; buna few-shot •soruyu sormadan önce modele birkaç örnek cevap gösterme• denir. Sonra modelin cevabı önceden belirlenmiş bir ölçüyle puanlanır. Bütün bu adımlar herkes için aynı olduğundan, farklı modellerin puanları yan yana konabilir.

İyi bir iskelet farklı model tiplerini aynı anda destekler; yerel çalışan açık modellerden API üzerinden erişilen kapalı modellere kadar hepsini aynı testlerden geçirebilir.

Neden önemli?

Bir modelin puanı, sorunun nasıl sorulduğuna şaşırtıcı derecede bağlıdır. Sorunun kelimesi, kaç örnek gösterildiği, puanlamanın nasıl yapıldığı — hepsi sonucu değiştirir. Herkes kendi yöntemiyle ölçerse iki modelin puanını karşılaştırmak anlamını yitirir.

Ortak bir değerlendirme iskeleti bu kaosu çözer. Aynı testler, aynı kalıp, aynı puanlama olduğu için sonuçlar hem tekrar edilebilir hem de adil olur. Zaten pek çok sıralama tablosu ve araştırma, aynı iskelet üzerinden ölçtüğü için güvenilir sayılır.

Kullanım alanları

Değerlendirme iskeleti en çok modelleri karşılaştırmak ve bir modelin zaman içindeki gelişimini izlemek için kullanılır. Eğitim sırasında alınan farklı ara kayıtları aynı testlerden geçirip hangisinin daha iyi olduğunu görebilirsin. Küçültülmüş (quantization •modeli daha az yer kaplayacak şekilde sıkıştırma•) ya da ince ayar çekilmiş sürümleri ölçmek, yeni bir modeli yayına almadan önce zayıf yönlerini bulmak ve sıralama tabloları kurmak da bu düzeneğin klasik işleridir.