Ağırlıklar (Weights)

Ağırlıklar nedir?

Bir sinir ağını üstünde milyonlarca küçük düğme olan devasa bir ayar paneli gibi düşün. O düğmelerin her biri bir ağırlıktır. Ağırlık, ağın içindeki iki nöron arasındaki bağlantının ne kadar güçlü olduğunu söyleyen bir sayıdır. Model "öğreniyor" dediğimizde aslında olan şey bundan ibaret: bu sayıları azıcık aşağı yukarı oynatmak, ta ki doğru cevabı verene kadar.

Nasıl çalışır?

Bir nöron kendisine gelen girdileri alır, her birini ilgili ağırlıkla çarpar, hepsini toplar ve sonucu bir sonraki katmana geçirir. Ağırlık büyükse o girdi sonuca çok etki eder; sıfıra yakınsa neredeyse yok sayılır. Eğitim başında ağırlıklar rastgele atanır, model doğal olarak saçmalar. Sonra her örnekte modelin hatası ölçülür, backpropagation ile "hangi ağırlık ne kadar suçlu" hesaplanır ve gradient descent bu ağırlıkları hatayı azaltacak yönde günceller. Milyonlarca tekrardan sonra ağırlıklar veriye oturur ve model işe yarar hale gelir.

Neden önemli?

Bir modelin tüm bildiği, ağırlıklarında saklıdır. Bir modeli "indirdiğinde" aslında indirdiğin şey dev bir ağırlık dosyasıdır — mimarinin kendisi birkaç sayfa kod, asıl değer o sayılarda gizli. "7B model" derken kastedilen 7 milyar da ağırlık sayısıdır. Yani ağırlıklar hem modelin zekasının hem de dosya boyutunun kaynağıdır.

Kullanım alanları

Açık kaynak modellerde ağırlıklar paylaşılır; sen indirir, kendi donanımında çalıştırırsın. fine-tuning yaptığında mevcut ağırlıkları kendi verinle biraz daha oynatırsın. quantization ise bu ağırlıkları daha az yer kaplayan sayılara yuvarlayıp modeli küçültme işidir — VRAM'i az olan makinelerde büyük modelleri çalıştırmayı bu sayede becerirsin.