Altın Veri Kümesi (Golden Dataset)

Altın Veri Kümesi nedir?

Altın veri kümesi (golden dataset), doğru cevapları uzmanlar tarafından özenle hazırlanmış ve doğrulanmış, bir modelin ya da sistemin kalitesini değerlendirmek için referans olarak kullanılan veri kümesidir. Adındaki "altın", güvenilirlik standardını ifade eder: Bu veri kümesindeki etiketlerin doğru olduğuna güvenilir ve diğer her şey ona göre ölçülür.

Altın veri kümeleri genellikle eğitim verisinden çok daha küçüktür. Birkaç yüz ya da birkaç bin örnek içerebilir. Değeri miktarında değil, kalitesindedir.

Nasıl çalışır?

İyi bir altın veri kümesi hazırlamak şu adımları içerir:

• Kapsam belirleme: Sistemin karşılaşacağı gerçek kullanım senaryoları listelenir. Sık görülen durumlar, uç durumlar ve bilinen zor örnekler dahil edilir.
• Örnek toplama: Gerçek kullanıcı verilerinden, uzmanların yazdığı örneklerden ya da bilinen hata vakalarından örnekler seçilir.
• Uzman etiketleme: Her örnek için doğru cevap, alanında uzman kişiler tarafından belirlenir. Çoğu zaman birden fazla kişi bağımsız olarak etiketler ve anlaşmazlıklar tartışılarak çözülür.
• Sürümleme ve koruma: Veri kümesi sürüm kontrolü altında tutulur ve eğitim verisine karışmaması için ayrı saklanır.

LLM uygulamalarında altın veri kümesi genellikle girdi prompt'larından ve bunlara verilmesi beklenen ideal cevaplardan ya da cevapların taşıması gereken özelliklerden oluşur. Her prompt değişikliğinde, model güncellemesinde ya da RAG ayarı değişikliğinde sistem bu veri kümesi üzerinde çalıştırılır ve sonuçlar karşılaştırılır. Değerlendirme insanlar tarafından, kurallarla ya da hakem olarak kullanılan bir LLM ile yapılabilir.

Neden önemli?

Yapay zeka sistemlerinde küçük bir değişiklik beklenmedik yerlerde performansı bozabilir. Altın veri kümesi, bu tür gerilemeleri (regression) erken yakalamanın en güvenilir yoludur. "Yeni prompt daha iyi mi?" sorusuna izlenime dayalı değil, ölçüme dayalı cevap verir.

Bakımı da önemlidir. Kullanıcı davranışı değiştikçe ve yeni hata türleri ortaya çıktıkça altın veri kümesi güncellenmelidir. Aksi halde sistem eskimiş bir sınava göre optimize edilir. Ayrıca veri kümesinin eğitim verisine sızması, değerlendirmeyi anlamsız hale getirir.

Kullanım alanları

• LLM uygulama geliştirme: Prompt ve model değişikliklerini sistematik olarak test etmek.
• RAG sistemleri: Getirilen belgelerin ve üretilen cevapların doğruluğunu ölçmek.
• Etiketleme kalite kontrolü: Etiketleyicilerin başarısını bilinen doğru cevaplarla karşılaştırmak.
• Model seçimi: Farklı modelleri aynı referans üzerinde karşılaştırmak.
• Sürekli entegrasyon: Her yazılım güncellemesinde otomatik kalite testi çalıştırmak.