GGUF Model Formatı (GGUF)

GGUF nedir?

GGUF (GPT-Generated Unified Format), bir dil modelini tek bir dosyada paketleyen bir formattır. İçinde modelin ağırlıkları, tokenizer bilgisi ve çalışması için gereken tüm ayarlar (metadata) bir arada durur. llama.cpp ekibinin geliştirdiği eski GGML formatının yerini aldı ve bugün yerel model dünyasının standardı sayılıyor.

Kısacası: bir modeli kendi bilgisayarında çalıştırmak istiyorsan, indirdiğin dosya büyük ihtimalle .gguf uzantılı olacak.

Nasıl çalışır?

GGUF dosyası, modeli "tek parça" halinde taşır. Ayrı config dosyaları, ayrı tokenizer dosyaları aramana gerek kalmaz — hepsi içeride. Bu format ayrıca quantization •modeli küçültme• seviyelerini de destekler. Aynı modelin Q4_K_M, Q5_K_M, Q8_0 gibi farklı sürümlerini görürsün; sayı küçüldükçe dosya küçülür ve daha az VRAM ister, ama kalite biraz düşer.

Bir GGUF dosyasını llama.cpp, Ollama, LM Studio veya benzeri bir runtime'a verirsin; o da metadata'yı okuyup modeli belleğe yükler ve çalıştırır.

Neden önemli?

GGUF, yerel AI'ı sıradan kullanıcı için erişilebilir yaptı. Eskiden bir modeli çalıştırmak için birden fazla dosyayı doğru klasörlere yerleştirmen gerekiyordu; şimdi tek dosya indiriyorsun ve çalışıyor. Quantization desteği sayesinde 6-8 GB VRAM'li bir dizüstü bilgisayarda bile ciddi modeller döndürebiliyorsun.

Kullanım alanları

• LM Studio, Ollama veya llama.cpp ile yerel model çalıştırma
• İnternet olmadan, veriyi dışarı sızdırmadan offline kullanım
• Farklı quantization seviyeleriyle donanımına uygun sürümü seçme
• Hugging Face'ten indirilen toplulukça hazırlanmış model sürümleri