llama.cppNedir?

llama.cpp, açık yapay zeka modellerini kendi bilgisayarında çalıştırmanı sağlayan ücretsiz ve açık kaynak bir motor. Georgi Gerganov projeyi Mart 2023'te, Meta'nın LLaMA modelini sıradan bir bilgisayarda çalıştırabilmek için başlattı. Normalde büyük sunucularda koşan dil modellerini dizüstü bilgisayara sığdırma fikri o kadar tuttu ki proje bugün GitHub'da 135 bine yakın yıldıza ve 150'den fazla model mimarisi desteğine ulaştı. 13 Kasım 2026'da da ilk kararlı sürümü olan 1.0 çıktı.

Yerel model çalıştıran pek çok uygulama aslında bu motorun üstüne kurulu. LM Studio ve Jan gibi masaüstü uygulamaları llama.cpp'yi kullanıyor, Ollama da aynı ailenin temel kütüphanesi ggml üzerinde çalışıyor. Yani bu araçlardan biriyle model çalıştırdıysan arka planda büyük ihtimalle llama.cpp ya da onun parçaları vardı. Doğrudan llama.cpp kullanmanın farkı şu: yeni modeller ve yeni özellikler genelde önce buraya geliyor, bellek ve ekran kartı ayarlarının tamamı da senin elinde oluyor. Tek komutla model indirmenin kolay yolunu adım adım anlattığımız rehbere de göz atabilirsin.

Yazdığın metin ve yüklediğin belge bilgisayarından dışarı çıkmıyor, model indirildikten sonra internet de gerekmiyor. Ekran kartın yoksa işlemci ve normal belleği kullanıyor. NVIDIA, AMD ya da Apple Silicon işlemcili bir Mac varsa hız belirgin şekilde artıyor. Modeller GGUF •llama.cpp ekosisteminin kullandığı, modeli tek dosyada toplayan biçim• dosyası olarak geliyor ve Hugging Face'teki popüler açık modellerin çoğunun hazır GGUF sürümü var.

llama.cpp 1.0: Neler Değişti?

Proje üç buçuk yıl boyunca "b12359" gibi yapım numaralarıyla sürüm çıkardı. 13 Kasım 2026'da çıkan 1.0 ile ilk kez klasik sürüm numarasına geçti. Duyuruyu Hugging Face blogunda Georgi Gerganov, Daniel Bevenius ve Merve imzaladı. Bu sürüm daha çok llama.cpp'nin üstüne uygulama kuranları ilgilendiriyor ama sonucu herkese yansıyor:

• Kararlılık sözü: Artık uygulamaları bozacak bir değişiklik ancak ana sürüm numarası değiştiğinde (2.0 gibi) gelecek. Ara sürümler yeni model desteği ve özellik getirecek, yamalar sadece hata düzeltecek. LM Studio gibi llama.cpp üstüne kurulu uygulamaların güncellemeleri bu sayede daha az sürprizli olacak.
• Daha az bellek: Modelin sohbetin önceki kısmını hatırlamak için tuttuğu ara veriler (KV cache •modelin konuşma geçmişini hızlı hatırlamak için bellekte tuttuğu veriler•) artık daha az yer kaplayan FP8 biçiminde tutulabiliyor. Uzun sohbette ve uzun belgede bu doğrudan bellek tasarrufu demek. Her soruda modelin sadece bir kısmını çalıştıran MoE •modeli uzman parçalara bölen ve her soruda bunlardan birkaçını çalıştıran mimari• modeller için de uzman parçaların bir kısmını normal bellekte tutan yeni bir önbellek geldi.
• Daha güvenli sunucu: Sohbet ekranını açan sunucu, kötü niyetli bir sitenin tarayıcın üzerinden bilgisayarındaki modele istek göndermesini sağlayan saldırılara (SSRF, CORS ve DNS rebinding) karşı sıkılaştırıldı.
• Seslendirme: Sunucuya metni sese çeviren OpenAI uyumlu bir uç nokta eklendi.
• Temizlik: Kullanımdan kalkmış 35 fonksiyon kaldırıldı. Kendi yazılımında llama.cpp'yi kütüphane olarak kullanıyorsan güncellemeden önce sürüm notlarına bak.

Aynı duyuruda llama.cpp ve Hugging Face ekiplerinin hazırladığı Llama masaüstü uygulaması da öne çıkarıldı. Aşağıda "Nasıl Başlanır?" bölümünde anlattık, komut yazmadan llama.cpp kullanmanın en kolay yolu bu.

Temel Özellikler

Tarayıcıdan sohbet. Sunucuyu başlattığında ChatGPT'ye benzeyen sade bir sohbet ekranı açılıyor, ayrı bir arayüz kurmana gerek kalmıyor. Belge ekleyebiliyorsun, görüntü anlayan bir model seçersen fotoğraf da gönderebiliyorsun. Daha kapsamlı, çok kullanıcılı bir arayüz istersen llama.cpp sunucusunu Open WebUI gibi bir arayüze bağlayabilirsin.

Ayarları kendisi seçiyor. Güncel sürümler modelin ne kadarının ekran kartına sığacağını kendisi hesaplıyor, sığmayan kısmı normal belleğe aktarıyor. Eski rehberlerde gördüğün -ngl 99 gibi parametreleri yazmana artık gerek yok. Elle yazarsan otomatik ayar o parametre için devreden çıkıyor ve bellek taşma riskini sen üstlenmiş oluyorsun.

Hugging Face'ten doğrudan model. -hf parametresine modelin adını yazınca llama.cpp dosyayı kendisi indirip açıyor. Dosya arayıp klasöre taşımakla uğraşmıyorsun.

OpenAI uyumlu API. Sunucu http://localhost:9931/v1 adresinde OpenAI'ın API biçimini konuşuyor. ChatGPT API'sine bağlanan bir uygulamayı sadece adresi değiştirerek kendi bilgisayarındaki modele bağlayabiliyorsun. Anthropic'in mesaj biçimi, metin arama için gereken embedding ve seslendirme uç noktaları da var.

Her donanımda çalışma. NVIDIA, AMD, Intel ve Apple Silicon ekran kartları için ayrı hızlandırma desteği var, hiçbiri yoksa düz işlemcide çalışıyor. Model ekran kartına sığmasa da açılıyor, sadece yavaşlıyor.

Sıkıştırılmış modeller. Aynı model farklı sıkıştırma seviyeleriyle geliyor ve dosya adındaki Q4_K_M, Q8_0 gibi kodlar bunu gösteriyor. Küçük sayı daha küçük dosya ve biraz daha düşük kalite demek. Günlük kullanımda Q4_K_M iyi bir denge. Bu kodların ne anlama geldiğini kuantizasyon ve GGUF terim sayfalarında anlattık.

Nasıl Başlanır?

Üç yol var. En kolayından en zahmetlisine sıraladık.

1. Llama uygulaması (komut yazmadan)

llama.app adresinden Llama uygulamasını indir. Mac ve Windows 11 için yaklaşık 1 MB'lık bir kurulum dosyası. Kurulunca Mac'te ekranın üstündeki menü çubuğuna, Windows'ta saatin yanındaki simge alanına yerleşiyor. Menüdeki "Recommended" bölümü bilgisayarına uyan modelleri gösteriyor, istediğini tek tıkla indiriyorsun. "Open chat" dediğinde sohbet ekranı tarayıcında açılıyor. Kullanmadığın model 5 dakika sonra bellekten çıkıyor, bilgisayarını boşuna yormuyor.

2. Tek satırla kurulum

Önce komutu yazacağın pencereyi aç. Windows'ta Başlat menüsüne "PowerShell" yaz ve çıkan uygulamayı aç. Mac'te Cmd + Boşluk ile aramayı açıp "Terminal" yaz. Aşağıdaki satırı kopyala, açılan pencereye yapıştır ve Enter'a bas.

Windows (PowerShell):

irm https://llama.app/install.ps1 | iex

Mac veya Linux (Terminal):

curl -LsSf https://llama.app/install.sh | sh

Kurulum betiği ekran kartını kendisi tanıyor (NVIDIA, AMD, Vulkan destekli kartlar, hiçbiri yoksa işlemci) ve uygun sürümü kuruyor. Kurulum sonunda yol (PATH) ile ilgili bir uyarı çıkarsa ekrandaki talimatı uygula. Ardından aynı pencereye şu komutu yazıp ilk modelini indir ve sohbeti başlat:

llama serve -hf ggml-org/gemma-4-E4B-it-GGUF

İndirme bitince tarayıcında http://127.0.0.1:9931 adresini aç, sohbet ekranı orada. Bu Gemma 4 modeli yaklaşık 4,6 GB ve 16 GB belleği olan bir bilgisayar için makul bir başlangıç. Pencereyi kapatırsan sunucu da kapanır. Homebrew kullanıyorsan brew install llama.cpp, Windows'ta winget install llama.cpp ile de kurabilirsin, o zaman komut llama-server -hf ... şeklinde oluyor.

3. Hazır paketi elle indirmek

GitHub'daki sürümler sayfasından sistemine uygun zip dosyasını indirip bir klasöre çıkarabilirsin. Windows'ta NVIDIA ekran kartın varsa iki dosya gerekiyor: adında win-cuda geçen paket ve aynı CUDA sürümündeki cudart paketi. İkisini aynı klasöre çıkarmazsan "dll bulunamadı" hatası alırsın. Güncel sürücülü RTX 20 serisi ve sonrası kartlarda CUDA 13, daha eski kartlarda ya da eski sürücülerde CUDA 12.4 paketini seç. AMD ve Intel ekran kartlarında win-vulkan, ekran kartı yoksa win-cpu paketi yeterli.

Hangi modelin bilgisayarında rahat çalışacağını görmek için ekran kartını seçip hangi modelin koştuğunu gösteren aracımıza bak. Türkçede hangi modelin daha iyi olduğunu da 13 modeli test ettiğimiz rehberde anlattık.

Kullanım Senaryoları

Gizli belgeyle çalışanlar. Sözleşme özetleyen bir avukat, müşteri dosyasıyla uğraşan bir muhasebeci ya da şirket içi raporu çevirmek isteyen bir çalışan metni hiçbir sunucuya göndermeden işini görebiliyor.

Uygulama geliştirenler. OpenAI uyumlu API sayesinde prototipini önce ücretsiz yerel modelle deneyip API faturasını sonraya bırakabiliyorsun. Hazır olunca adresi değiştirip bulut modeline geçmek kolay.

Yeni modeli ilk gün denemek isteyenler. Açık bir model çıktığında GGUF sürümü ve llama.cpp desteği genelde ilk günlerde geliyor. Diğer uygulamaların güncellemesini beklemiyorsun.

İnterneti zayıf yerde çalışanlar. Model bir kez indikten sonra sahada, yolda ya da uçakta internetsiz çalışıyor.

Modeli kalabalığa açacak ekipler için değil. Aynı modeli onlarca kişiye aynı anda sunacaksan vLLM bu iş için daha uygun. İkisinin farkını vLLM'in kime göre olduğunu anlattığımız rehberde konuşmuştuk.

Kimler Geliştirdi?

Projeyi başlatan Georgi Gerganov, aynı zamanda llama.cpp'nin altındaki ggml kütüphanesinin de yazarı. 2023'te bu kütüphaneyi geliştirmek için ggml.ai şirketini kurdu. Proje kısa sürede yüzlerce gönüllünün katkı verdiği bir topluluk projesine dönüştü.

20 Şubat 2026'da Gerganov ve ggml.ai ekibi Hugging Face'e katıldı. Hugging Face'ten bazı mühendisler zaten projenin ana katkıcıları arasındaydı. Katılımdan sonra da kod MIT lisansıyla açık kalmaya devam ediyor. 1.0 duyurusuna göre NVIDIA, AMD, Qualcomm, Arm, IBM ve Intel de kendi donanımları için test ve geliştirme desteği veriyor.

Dikkat Edilecekler

• Menüler İngilizce. Sohbet ekranı da Llama uygulaması da İngilizce. Türkçe ne kadar iyi yazışacağın tamamen seçtiğin modele bağlı.
• Adres değişti. Eski rehberler 8080 portunu yazıyor, güncel sürümlerde varsayılan adres http://127.0.0.1:9931. Docker gibi bazı kurulumlar hâlâ 8080 kullanabiliyor. Sunucu açılırken ekrana yazdığı adres esas.
• Sadece kendi bilgisayarından erişilebiliyor. Sunucu varsayılan olarak dışarıya kapalı. Telefonundan bağlanmak için komuta --host 0.0.0.0 eklemen gerekiyor. Bunu sadece güvendiğin ev ağında yap, kafe ya da ofis Wi-Fi'ında açma.
• Windows'ta NVIDIA kartı varsa CUDA Toolkit gerekebilir. Kurulum betiği kartı bulup Toolkit'i bulamazsa kurulum yerine ne yapman gerektiğini yazıyor.
• Model boyutunu belleğe göre seç. Model belleğe sığmazsa yine açılıyor ama cevaplar dakikalar sürebiliyor. Genelde indirdiğin dosyanın boyutunun üstüne 2-3 GB boş bellek payı bırakman gerekiyor.
• Evdeki model buluttaki kadar güçlü değil. Bilgisayarında çalışan bir model ChatGPT ya da Claude'un en güçlü modellerinin seviyesine çoğu zaman ulaşmıyor. Donanım ve elektrik tarafındaki gizli maliyetlerden ücretsiz yapay zekayla ilgili bilinmeyenleri anlattığımız yazıda bahsetmiştik.
• Kendi kodunda kullanıyorsan 1.0'ı kontrol et. Kaldırılan fonksiyonlar yüzünden eski kod yeni sürümle derlenmeyebilir.

Fiyatlandırma

Tek maliyetin bilgisayarın ve harcadığı elektrik. Ücretli bir plan ya da bulut katmanı yok.