vLLMNedir?

vLLM, açık yapay zeka modellerini sunucuda çalıştırmak için geliştirilmiş ücretsiz bir motor. 2023'te Kaliforniya Üniversitesi Berkeley'deki Sky Computing Lab'de doğdu, Mayıs 2025'ten beri PyTorch Vakfı çatısı altında geliştiriliyor. Apache 2.0 lisanslı; sadece 18 Ekim 2026'da çıkan 0.32.0 sürümüne 363 kişi katkı verdi.

Çözdüğü sorun şu: bir model cevap üretirken konuşmanın o ana kadarki kısmını ekran kartının belleğinde tutuyor. Aynı anda çok kişi soru sorduğunda bu bellek hızla doluyor ve yeni gelenler sırada bekliyor. vLLM belleği küçük sayfalara bölüp her konuşmaya ihtiyacı kadar yer veriyor ve bir cevap biter bitmez boşalan yere sıradaki isteği alıyor. Sonuçta aynı ekran kartından çok daha fazla cevap çıkıyor.

vLLM bir sohbet uygulaması değil, arka planda çalışan bir altyapı programı. Modeli Hugging Face'ten indiriyor ve OpenAI'ın API'siyle aynı dili konuşan bir bağlantı noktası açıyor. ChatGPT'ye bağlanacak şekilde yazılmış bir uygulamayı, adresini değiştirerek kendi modeline yönlendirebiliyorsun. Sohbet ekranı istersen Open WebUI gibi bir arayüzü üzerine ekliyorsun.

Ollama ve LM Studio ile aynı açık modelleri çalıştırıyor ama hedefi farklı. Onlar tek kişinin kendi bilgisayarı için yapıldı; vLLM ise modeli birden çok kişiye açan sunucular için.

Temel Özellikler

PagedAttention. Ekran kartının belleğini sayfalara bölerek israfı önlüyor. Aynı karta çok daha fazla konuşma sığıyor; vLLM'in ününün asıl kaynağı bu.

Akış hâlinde istek işleme. Bir grup isteğin tamamen bitmesini beklemiyor; biten cevabın yerine hemen yenisini alıyor. Kalabalık altında hızın korunmasını sağlayan bu.

OpenAI uyumlu API. vllm serve komutuyla localhost:8000 adresinde OpenAI'ın API'siyle aynı biçimde çalışan bir sunucu açıyor. Mevcut kodunu değiştirmeden kendi modeline geçebiliyorsun.

Geniş model ve donanım desteği. Hugging Face'teki popüler açık modellerin büyük kısmını çalıştırıyor. NVIDIA kartlarda en olgun hâlinde; AMD, Intel ve Apple Silicon için de destek var. Birden fazla ekran kartına bölünmüş büyük modelleri de çalıştırabiliyor.

Kullanım Senaryoları

Bir yazılım şirketi, müşteri verisini dışarı göndermeden kendi ürününe yapay zeka eklemek istiyor: modeli kendi sunucusunda vLLM ile çalıştırıyor, uygulama OpenAI yerine bu sunucuya bağlanıyor. Bir ekip, şirket içindeki herkesin kullanacağı bir asistan kuruyor: vLLM arka planda modeli çalıştırıyor, çalışanlar Open WebUI üzerinden sohbet ediyor. Binlerce ürün açıklamasını ya da belgeyi toplu işleyecek biri ise vLLM'in aynı anda çok istek işleme gücünden yararlanıp işi saatler yerine dakikalarda bitirebiliyor.

Nasıl Başlanır?

vLLM'i en rahat Linux ve NVIDIA ekran kartı olan bir makinede kurarsın. RTX 20 serisi ve sonrası kartlar destekleniyor, Python 3.11 ile 3.14 arası bir sürüm gerekiyor. Python ortamın hazırsa iki komut yetiyor:

pip install vllm
vllm serve Qwen/Qwen2.5-1.5B-Instruct

İkinci komut modeli indirip sunucuyu açıyor. Kendi bilgisayarında Linux yoksa ilk denemeyi saatlik kiralanan bir bulut GPU sunucusunda yapmak, sürücü ve kurulum derdini ortadan kaldırıyor. Resmi Docker imajı da var.

Dikkat Edilecekler

• Windows'u doğrudan desteklemiyor. Windows'ta ancak WSL (Windows içinde Linux) üzerinden kurulabiliyor.
• Model ekran kartının belleğine sığmalı. Bellek yetmezse model çoğu zaman açılmıyor; Ollama gibi RAM'e taşıyıp yavaş çalışmaya devam etmiyor.
• GGUF desteği deneysel. Yerel kullanımda yaygın olan sıkıştırılmış GGUF dosyalarıyla çalışabiliyor ama resmi belgeler bu desteğin hâlâ deneysel ve az optimize olduğunu söylüyor.
• Tek kişilik kullanımda avantajı az. Hız kazancı aynı anda çok istek geldiğinde ortaya çıkıyor; evde tek başına kullanacaksan kurulum zahmetine değmez.
• Türkçe arayüz yok. Zaten arayüzü yok; Türkçe cevap kalitesi tamamen seçtiğin modele bağlı.
• Sunucuyu dışarı açarken dikkat. API'yi internete açacaksan kimlik doğrulama ve erişim kısıtlaması kurman gerekiyor.

Fiyatlandırma

vLLM tamamen ücretsiz ve açık kaynak; Apache 2.0 lisansıyla ticari kullanım da serbest. Ücretli plan, abonelik ya da bulut hizmeti yok. Proje bağışlar ve şirket sponsorlarıyla finanse ediliyor.

Asıl masraf yazılım değil, onu çalıştıracak donanım: kendi güçlü ekran kartın ya da saatlik kiraladığın bir bulut GPU sunucusu.