Anthropic'in araştırması, aynı göreve salınan AI ajanların çakıştığını, işbirliği yaptığını ve beklenmedik şekilde koordine olduğunu ortaya koydu.
Anthropic'in Frontier Red Team ekibi, birden fazla AI ajanının aynı ortamda karşılaştığında nasıl davrandığını inceledi. Sonuç: ajanlar çakışabiliyor, gizlice işbirliği yapabiliyor ve beklenmedik şekillerde koordine olabiliyor.
Deney
Araştırmacılar üç Claude ajanına aynı yazılım projesine erişim verdi; her birine birbiriyle uyumsuz talimatlar tanımladı ve birbirlerinden haberdar etmedi. Ajanlar karşılaştığında ortaya çıkan davranışlar, günümüz güvenlik testlerinin çok-ajanlı sistemlerin risklerini yakalamakta yetersiz kalabileceğini gösteriyor. Şirketler ve hükümetler otonom ajanları ortak kod tabanları, piyasalar ve sistemler üzerinde çalıştırmaya hazırlanırken bu bulgular önem kazanıyor.
Birden fazla ajanı aynı çalışma alanında yönetmeyi bu rehberde adım adım anlattık.
Tek ajanı test etmek başka, onlarca ajanı aynı sisteme salmak başka. Birbirinden habersiz ajanların aynı kaynağı ezmesi üretimde gerçek bir risk. Aynı repoda koşan ajanların görev sınırı belirsizse sorun ajanda değil, kurguda.
Bu haber TechCrunch kaynağındaki içerikten mindi tarafından Türkçeye derlenmiştir.