MiniMax M3 modelini tanıttı: Seyrek dikkat mekanizmasıyla 15.6 kat hızlı uzun bağlam yanıtı

Çinli AI şirketi MiniMax, M2 serisi modellerinin teknik detaylarını paylaştığı kapsamlı raporla birlikte yeni nesil M3 modelini tanıttı. Şirketin geliştirdiği MiniMax Sparse Attention (MSA) adlı yeni dikkat mekanizması, 1 milyon token uzunluğundaki bağlamlarda önceki mimariye kıyasla 15.6 kat daha hızlı yanıt üretimi sağlıyor. Bu, 1000 sayfalık bir belgeyle çalışan sohbet robotunun neredeyse 16 kat daha hızlı cevap vermesi demek.

Bu hız artışı özellikle uzun bağlamlı AI ajan dağıtımlarını ekonomik hale getirmeyi hedefliyor. Sohbet robotları büyük belgelerle çalışırken genelde yanıt üretme aşamasında takılıp yavaşlıyor; MSA bu darboğazı doğrudan çözüyor.

MiniMax, metin ve kodun yanı sıra Hailuo serisiyle video üretiminde de iddialı. Modellerini genellikle açık kaynak ve kurumsal dostu lisanslarla yayınlıyor. M2 serisi 229.9 milyar parametreli Mixture of Experts (MoE) ve Transformer mimarisi kullanıyor, ancak token başına sadece 9.8 milyar parametre aktive ederek verimli çalışıyor. Mühendislik tercihi olarak tüm katmanlarda tam dikkat mekanizması korunmuştu çünkü daha hızlı ama daha az hassas alternatifler, uzun metinlerde modelin akıl yürütme yeteneğini ciddi şekilde düşürüyordu. 32K üzeri bağlam pencerelerinde pencere tabanlı dikkat 90 puandan 72 puana kadar geriliyordu.

M3''teki yenilik şu: DeepSeek''in anahtar-değer çiftlerini sıkıştıran yaklaşımından farklı olarak MSA, veriyi sıkıştırmıyor; blok seviyesinde dinamik seçimle sadece o an gerekli olan kısmı işleyerek hem hızı artırıyor hem hassasiyeti koruyor. Prefilling (girdi okuma) aşamasında 9.7 kat, decoding (yanıt yazma) aşamasında 15.6 kat hızlanma sağlıyor.

MiniMax ayrıca modellerini eğitmek için "Forge" adında bir pekiştirmeli öğrenme sistemi kurdu. Bu sistemle eğitilen M2.7, kendi geliştirme iş akışının %30 ila %50''sini otomatik tamamlayabiliyor; eğitim süreçlerini izleyip, hataları teşhis edip, kendi kodunu değiştirebiliyor. OpenAI''ın MLE Bench Lite kıyaslama testinde %66.6 başarıyla Google Gemini 3.1 Pro ile aynı seviyeye ulaştı. Şirket daha önce M2.5 ile iç görevlerin %30''unu ve yeni kodun %80''ini otomatik tamamlamayı başarmıştı.

Hugging Face''ten Adina Yakup, "Benchmark''ların ötesinde MoE verimliliği ve ajan odaklı tasarım konusunda sağlam iş çıkarmışlar. M3''ün nereye gideceğini görmek heyecan verici" yorumunu yaptı.

🔗 MiniMax: https://minimax.io/