*Yukarıdaki butona tıkla ve ekle. Yapay zeka gelişmelerini Google’da her zaman üstte gör.

Yerel yapay zekanın temel taşlarından llama.cpp, ggml kütüphanesiyle birlikte ilk kararlı sürümü 1.0'a geçti. Bundan sonra uyumluluğu bozan değişiklikler yalnızca ana sürümle gelecek.
Kendi bilgisayarında dil modeli çalıştıranların önemli bir kısmı farkında olmadan llama.cpp kullanıyor. LM Studio gibi araçlar da modelleri çalıştırırken bu motordan yararlanıyor. Yaklaşık üç buçuk yıllık proje, 13 Kasım'da hem kendisini hem de üzerine kurulu olduğu ggml kütüphanesini 1.0 sürümüne taşıdı.
1.0 ne değiştiriyor?
En önemli değişiklik bir özellik değil, bir söz. Bundan sonra programların llama.cpp'ye bağlandığı arayüzü bozan her değişiklik ana sürüm numarasını artıracak. Geriye uyumlu yeni özellikler ve model desteği ara sürümle, hata düzeltmeleri yama sürümüyle gelecek. Üzerine uygulama kuranlar için bu, her güncellemede kodun kırılıp kırılmayacağını önceden bilmek demek.
Sürümle gelen yenilikler
Konuşma geçmişini tutan belleği küçülten FP8 desteği eklendi. Uzmanlardan oluşan MoE modeller için ana bellekte yeni bir önbellek geldi. Sunucu tarafında birkaç güvenlik açığı kapatıldı ve kimlik doğrulaması olmayan araçlar artık ancak açıkça izin verilirse çalışıyor. Yaygın API formatıyla uyumlu bir metinden sese uç noktası da eklendi. Kullanımdan kalkmış 35 fonksiyon tamamen kaldırıldı, bu yüzden eski kodu olanların güncellemeden önce kontrol etmesi gerekiyor.
Desteklenen modeller ve kurulum
Proje 150'den fazla model mimarisini destekliyor. Modeller çoğunlukla GGUFi
Yerel çalıştırma için modeli tek dosyada toplayan format. dosyası olarak geliyor ve quantizationi
Model ağırlıklarını daha az bitle saklayarak boyutu küçültme. sayesinde büyük modeller sıradan bilgisayarlarda da çalışabiliyor. Hazır paketler Windows, macOS, Linux, Android ve iOS için sunuluyor. Homebrew, Winget ve Docker ile de kurulabiliyor.
Kendi bilgisayarında model çalıştırmaya yeni başlıyorsan yerel yapay zeka rehberimiz iyi bir başlangıç noktası.

Bir projenin 1.0 olması genelde "artık hazırız" demektir ama llama.cpp yıllardır sayısız uygulamanın altında zaten çalışıyordu. Buradaki asıl yenilik kod değil, takvim: geliştiriciler ilk kez bir sonraki güncellemenin neyi bozacağını önceden bilecek.