Top-k Örnekleme (Top-k Sampling)
Araç kavramlarıTop-k örnekleme nedir?
Top-k sampling, bir dil modelinin sıradaki token •metnin model tarafından işlenen en küçük parçası• için aday havuzunu sabit bir sayıyla sınırlayan örnekleme yöntemidir. Model her adımda binlerce olası token'a olasılık atar; top-k bunlardan sadece en olası k tanesini tutar, gerisini eler ve seçimi bu küçük havuzdan yapar. k=40 ise model her adımda yalnızca en güçlü 40 adayı değerlendirir.
Nasıl çalışır?
Sıralama olasılığa göre yapılır: en yüksek olasılıklı token'dan başlanır, k'inci adaya kadar inilir, kalanların olasılığı sıfırlanır. Ardından havuz yeniden normalize edilip içinden rastgele seçim yapılır. k küçükse çıktı güvenli ve tahmin edilebilir olur; k büyüdükçe düşük olasılıklı, sürpriz adaylar da işin içine girer ve metin çeşitlenir — ama bir noktadan sonra tutarsızlaşır.
Top-k'nin bilinen sınırı şu: sabit sayı her duruma uymaz. Bazen tek bir token bariz doğrudur, 40 aday tutmak gereksiz risktir; bazen onlarca makul devam vardır, 40 yetmez. Top-p •olasılık eşiğine göre havuzu dinamik daraltan yöntem• bu yüzden geliştirildi: havuzu sabit sayıyla değil, kümülatif olasılıkla belirler.
Neden önemli?
Top-k; temperature ve top-p ile birlikte üretilen metnin karakterini belirleyen ayarlardan biri. Çoğu yerel model arayüzünde ve API'de karşına çıkar. Genelde top-p ile birlikte ya da onun yerine kullanılır; ikisini aynı anda agresif kurcalamak öngörülemez sonuç verir.
Kullanım alanları
Doğruluk isteyen işlerde (kod, veri çıkarma) düşük k tercih edilir. Yaratıcı yazımda yüksek k çeşitliliği artırır. Pratikte birçok kişi top-k yerine top-p'yi varsayılan bırakır; yine de top-k, davranışı kafada canlandırması en kolay örnekleme yöntemi olduğu için anlamaya değer.
