Qwen 3.8 27B dizüstünde çalışıyor, ama varsayılan ayarı düşünmekten iş yapamıyor

Alibaba'nın Qwen ekibi cuma günü 27 milyar parametreli, Apache 2 lisanslı ve görsel anlayabilen yeni modelini yayımladı. Geliştirici Simon Willison modeli iki makinede — 128 GB'lık bir MacBook Pro ve bir NVIDIA DGX Spark — LM Studio üzerinden, 17 GB'a inen quantizationiModeli küçültmek için ağırlıkların hassasiyetini düşürme. uygulanmış sürümüyle denedi.

Varsayılan ayar sorunlu

Model reasoningⁱModelin cevap vermeden önce adım adım düşünmesi. derinliğini en yüksek kademede başlatıyor. Willison'ın klasik testi olan "bisiklet süren pelikan" SVG'si bu ayarla 22.276 düşünme token'ı yakarak 21 dakikada üretildi. Aynı istek akıl yürütme kapalıyken 137 saniyede bitti. "Bir daire çiz" gibi basit bir istekte bile model dakikalarca renk paleti ve kompozisyon tartıştı, sonunda istenmeyen ama animasyonlu bir daire çıkardı. Öneri net: bu varsayılanı boş ver, düşük kademeyle başla.

İyi olduğu yerler

Fotoğraftaki nesnelerin etrafına kutu çizme testinde koordinatlar isabetliydi. Model, o kutuları görselleştiren küçük web aracını tek istekle sıfırdan yazdı. Kod ajanı döngüsünde de ayakta kaldı: uzun bağlam, tool useiModelin harici araçları çağırabilmesi. ve kod üretimi bir arada iş görüyor.

Asıl engel hız

Test ortamında saniyede 15-30 token alınıyor. Karşılaştırma için, barındırılan büyük modeller aynı ölçümde 74 ile 184 token arasında koşuyor. Topluluk hızlanma yolları deniyor; modelin kendi Multi-Token Prediction desteği llama.cpp üzerinde yaklaşık yüzde 72 kazanç verdi.

Modeli kendi makinende denemek istersen, kurulumu adım adım anlatan rehberimiz işini görür.

17 GB'lık bir dosyanın kod yazması, görsel okuması ve araç çağırması bir yıl önce dizüstünde mümkün değildi. Ama varsayılan ayarın bu kadar savruk olması modelin kendisi kadar önemli: ilk denemesini yapan herkes gerçek performansı değil, boşa yanan token'ları görecek. Bu boydaki modellerde bugünkü darboğaz kalite değil, bellek bant genişliği.