Token

Token nedir?

Token, dil modellerinin metni parçaladığı temel birimdir. Tam anlamıyla ne bir kelime ne de bir harftir — ikisinin arasında bir yerde durur. Türkçe gibi eklemeli dillerde Türkçe kelimeler genellikle birden fazla token'a karşılık gelir.

Neden önemli?

Modeller token başına fiyatlandırılır ve işler. Gönderdiğin metin ne kadar uzunsa, o kadar çok token kullanırsın — bu hem maliyet hem de context penceresi açısından kritiktir.

Yaklaşık hesaplama

İngilizce için: ~4 karakter = 1 token, ~750 kelime = 1000 token
Türkçe için: kelimeler daha uzun olduğundan token oranı biraz daha yüksek olabilir.

Context penceresi

Modelin aynı anda işleyebildiği maksimum token sayısına "context window" denir. Modern modeller genelde 128k ile 200k token arası destekler; bazıları 1M token'a kadar çıkar.