Nvidia, kurumsal ajanları kesintisiz çalıştırmak için açık ağırlıklı Nemotron 3.5 Super VL'yi yayınladı
*Yukarıdaki butona tıkla ve ekle. Yapay zeka gelişmelerini Google’da her zaman üstte gör.
Nvidia, kurumsal ajanları kesintisiz çalıştırmak için 120 milyar parametreli, açık ağırlıklı ve çok modlu Nemotron 3.5 Super VL'yi yayınladı. Aynı duyuruda 24 GB belleğe sığıp yerel bilgisayarda çalışan Bolt modeli de geldi.
Nvidia 15 Ekim'de açık ağırlıklı Nemotron 3.5 Super VL'yi yayınladı. 120 milyar parametreli model her adımda yaklaşık 12 milyar parametreyi çalıştırıyor ve kurumsal ajanların uzun süre kesintisiz çalışması için tasarlandı. Aynı duyuruda yerel bilgisayarda çalışan Bolt modelleri de geldi.
Super VL ne işe yarıyor?
Model bir Vision-Language Modeli
Görüntüyü ve metni aynı anda işleyip ikisi arasında ilişki kurabilen model.. Görselleri, web sayfalarını ve PDF'leri okuyabiliyor, Nvidia'ya göre özellikle metin tanıma, tablo ve grafiklerde güçlü. Şirket, doğruluğunun kendi en büyük akıl yürütme modeline yakın olduğunu, parametre sayısının ise onun yaklaşık beşte biri olduğunu söylüyor.
Hız tarafındaki iddia, sınıfındaki diğer modellere göre 5 kata kadar daha yüksek throughputiBir sistemin birim zamanda işlediği istek veya token sayısı.. Bu rakam Nvidia'nın kendi ölçümü, bağımsız bir test henüz yok.
Neden "kesintisiz ajan" deniyor?
Bir ajan görevi yüzlerce model çağrısıyla ilerliyor. Her çağrıda 120 milyar parametrenin tamamını çalıştırmak hem faturayı hem gecikmeyi büyütüyor. Bu yüzden seyrek mimari burada performanstan çok bir ekonomi kararı.
Bolt ailesi yerelde çalışıyor
Bolt 74B-A9B, 2 bitlik quantizationiModel ağırlıklarını daha düşük hassasiyette saklayarak bellek ihtiyacını küçültme yöntemi. sayesinde 24 GB belleğe sığıyor ve GeForce RTX ekran kartlı bilgisayarlarda çalışabiliyor. llama.cpp, Ollama ve LM Studio ile kullanılabiliyor. 4 GB'lık Bolt E4B ise sesli asistan gibi cihaz içi ajanlar için 23 Ekim'de gelecek.
Super VL şu an Hugging Face, OpenRouter ve NIM üzerinden, Bolt 74B-A9B ise Hugging Face'ten indirilebiliyor. Nvidia'nın açık model hattı ağustostaki Nemotron 3.5 Lightning ve temmuzda retrieval sıralamasında birinci olan Nemotron 3 Embed ile sürüyordu. Hangi Nemotron'un hangi işe yaradığını Nemotron serisi rehberinde karşılaştırmıştık.
Ajan mimarisinde soru artık "hangi model daha iyi" değil, "hangi adımda hangi model çağrılıyor". Nvidia'nın aynı gün hem büyük hem küçük model çıkarması da bunun kabulü. 24 GB'a sığan Bolt duyurunun asıl ilginç parçası olabilir ama 2 bit sıkıştırmanın kaliteden ne götürdüğünü ancak bağımsız testler gösterecek.