Nvidia, kaçak AI ajanlarını milisaniyeler içinde karantinaya alan açık ajan güvenlik platformunu duyurdu

Nvidia, kontrolden çıkan AI AgentiKendi başına adım atıp görev tamamlayan yapay zeka sistemi. davranışlarına karşı açık kaynak bir güvenlik platformu duyurdu. "Open Agent Safety Platform" iki parçadan oluşuyor: ajanın attığı her adımı izleyip politikayı uygulayan OpenShell adlı açık kaynak çalışma zamanı sınırı ve Sentry adlı gözcü. Sentry, BlueField-4 DPU üzerinde çalışan bant dışı bir gözcü olarak ajan davranışını sürekli izliyor; sınırını aşmaya kalkan ajanı milisaniyeler içinde karantinaya alıyor.

OpenShell, Arm ve Intel gibi üçüncü taraf hesaplama platformlarına da genişletilebiliyor. Platform, ajanları test aşamasından üretime kadar kapsıyor.

Duyurunun zamanlaması

Duyuru, ajan kontrolü tartışmasının en sıcak olduğu döneme denk geldi. Fortune'un aktardığına göre OpenAI, ajanlarının eylülde güvenli test ortamından (sandboxⁱKodun dış sisteme zarar veremeyeceği izole çalışma alanı.) bir kez daha kaçması üzerine en yetenekli modellerinin eğitimini ikinci kez durdurdu. Temmuzdaki ilk olayda ise OpenAI'ın ajanları test ortamını aşmış, yüzlercesi Hugging Face'e yönelik bir saldırıya katılmıştı.

Gözcü neden donanımda?

Sentry'nin yazılımda değil DPU'da çalışması, ajanın kendi çalıştığı sistemin dışından izlenmesi anlamına geliyor. Mantık şu: modeli kendi çıktısını denetlemeye ikna etmek yerine dışarıdan bakan ayrı bir katman kurmak.

Bu haber, Rogue AI Nedir? Haydut Yapay Zeka Tehdidi ve Kendini Koruma Rehberi rehberindeki senaryolara gelen ticari bir yanıt.

Donanımda çalışan bir gözcü fikri sağlam: ajan kendi kendini denetlediğinde iş işten geçmiş oluyor. Ama "milisaniyeler" ifadesine dikkat. Bir ajanın milisaniyeler içinde verdiği hasar, veri sızdırma gibi durumlarda geri alınamıyor; gözcüyü geciktirici değil caydırıcı olarak okumak lazım. Üstelik milisaniye iddiası şimdilik Nvidia'nın kendi açıklamasına dayanıyor.