Örnekleme (Sampling)

Örnekleme (Sampling) nedir?

Dil modelleri her adımda bir sonraki token'u tahmin eder. Ama sadece "en yüksek olasılıklı kelimeyi seç" demek her zaman iyi sonuç vermez — çıktılar tekrarcı ve tahmin edilebilir hale gelir. Örnekleme, modelin olasılık dağılımından nasıl seçim yaptığını belirleyen mekanizmadır.

Nasıl çalışır?

Model her token için bir olasılık dağılımı üretir: "sonraki kelime 'merhaba' olma ihtimali %30, 'tamam' %25, 'evet' %20..." gibi. Örnekleme stratejisi, bu dağılımdan nasıl seçim yapılacağını belirler.

Greedy decoding: Her adımda en yüksek olasılıklı token seçilir. Deterministik ama monoton.

Temperature sampling: Olasılık dağılımı bir sıcaklık değeriyle (temperature) yumuşatılır veya keskinleştirilir. Temperature 1.0 = orijinal dağılım. 0.0'a yaklaştıkça greedy'ye döner. 2.0'a çıkıldıkça rastgelelik artar.

Top-k sampling: Sadece en yüksek k olasılıklı tokenlar arasından seçim yapılır. Diğerleri tamamen göz ardı edilir.

Top-p (nucleus) sampling: Toplam olasılığı p değerine ulaşana kadar tokenlar eklenir ve bu havuzdan seçim yapılır. Dinamik bir k gibi davranır — bazen 10 token, bazen 100 token havuza girer.

Min-p sampling: Yakın zamanda popülerleşen bir yöntem. En yüksek olasılıklı tokenın olasılığıyla orantılı bir minimum eşik belirler.

Neden önemli?

Örnekleme parametreleri, modelin yaratıcılık ve tutarlılık dengesini doğrudan belirler. Bir chatbot için düşük temperature isteyebilirsin; yaratıcı yazı için yüksek. Kod üretimi için genellikle temperature 0 veya çok düşük tercih edilir — tutarlılık yaratıcılıktan önemlidir.

Aynı prompt ile aynı modeli çalıştırdığında farklı yanıtlar alıyorsan sebebi büyük ihtimalle örnekleme stratejisidir.

Kullanım alanları

• API parametreleri: OpenAI, Anthropic, Google gibi tüm API'lerde temperature ve top-p parametresi doğrudan örnekleme stratejisini ayarlar.
• Çeşitlilik: Bir promptu birden fazla kez çalıştırarak farklı sonuçlar üretmek.
• Determinizm: Üretim sistemlerinde seed + temperature 0 kombinasyonuyla tekrarlanabilir çıktı elde etmek.
• Yaratıcı yazı: Yüksek temperature ile beklenmedik, özgün metinler üretmek.