Bilgi Damıtma (Knowledge Distillation)

Knowledge Distillation nedir?

Knowledge distillation, büyük ve güçlü bir AI modelinin (öğretmen / teacher) bilgisini, daha küçük ve hızlı bir modele (öğrenci / student) aktarma tekniği. Amaç: büyük modelin yetenek seviyesine yakın bir performansı, çok daha az parametreyle yakalayabilen bir model üretmek.

Büyük modeller pahalı — hem eğitim hem inference açısından. Distillation, "büyüğün gücünü küçüğe taşı" felsefesinin teknik karşılığı.

Nasıl çalışır?

Klasik yaklaşım şöyle: aynı veri kümesi üzerinde, öğretmen modelin çıktılarını (sadece final tahmin değil, olasılık dağılımları dahil) öğrenci model taklit etmeyi öğreniyor. Kritik nokta — öğrenci sadece "doğru cevap"ı değil, öğretmenin "şu kadar bu cevaba, şu kadar diğerine meyilli" şeklindeki yumuşak dağılımını da öğreniyor. Bu soft target •yumuşak hedef• yaklaşımı, öğrencinin sert etiketten çok daha zengin sinyal almasını sağlıyor.

Modern dil modellerinde distillation şu varyantlarla uygulanıyor:

• Response distillation: Öğretmen modelin ürettiği cevaplar veri seti olarak kullanılır, öğrenci model bu veriyle fine-tune edilir.
• Logit distillation: Token olasılık dağılımları doğrudan eşleştirilir.
• Reasoning distillation: Öğretmenin chain-of-thought çıktıları öğrenciye aktarılır, küçük model adım adım düşünmeyi öğrenir.

Neden önemli?

Maliyet ve hız. 70B parametreli bir model harika cevaplar üretebilir ama her sorguda gigabaytlarca GPU belleği tüketir. Aynı yetenekleri 7B ya da 3B parametreli bir modele damıtırsan inference belirgin şekilde hızlanıyor, maliyet düşüyor.

Edge deployment açısından da kritik. Mobil cihazda, tarayıcıda, IoT cihazda çalışan AI özelliklerinin neredeyse hepsi damıtılmış modeller üzerinde koşuyor. Büyük model bulutta, küçük model cebinde.

Kullanım alanları

• Mobil ve edge AI uygulamaları
• Açık kaynak küçük modellerin eğitimi (öğretmen olarak frontier model)
• Domain özel uzmanlaştırma
• API maliyetlerini düşürmek için ürün-içi modeller
• Latency kritik gerçek zamanlı uygulamalar

Distillation; fine-tuning ve quantization ile beraber "model küçültme" üçlüsünün bir parçası. Her birinin farklı yetenek-boyut trade-off'u var ve genelde birlikte kullanılıyorlar.