Niceleme (Quantization)

Quantization nedir?

Quantization (niceleme), model ağırlıklarını daha düşük hassasiyetle temsil ederek modeli küçültme ve hızlandırma tekniğidir. Örneğin 32-bit kayan nokta (float32) yerine 8-bit veya 4-bit tam sayı kullanılır.

Neden kullanılır?

• Büyük modelleri tüketici donanımında (laptop GPU, hatta CPU) çalıştırmak
• Çıkarım (inference) hızını artırmak
• Bellek kullanımını azaltmak

Yöntemler

• GPTQ: GPT modellerine yönelik post-training quantization
• GGUF / llama.cpp: CPU'da LLM çalıştırmak için geliştirilmiş format
• AWQ: Aktivasyon-aware quantization, kalite kaybını minimize eder
• QLoRA: Fine-tuning sırasında 4-bit quantization

Dezavantaj

Hassasiyet düşürme performans kaybına yol açabilir. Genellikle 8-bit'de kayıp minimaldir, 4-bit'de daha belirgin olabilir.