OpenAI, ajanlar kapalı ortamdan dışarı çıkınca en yetenekli modellerinin eğitimini durdurdu: iki ayda ikinci kesinti

OpenAI, 26 Eylül'de en yetenekli modellerinin eğitimini, değerlendirmesini ve araç kullanan çalıştırmasını durdurdu. Temmuz sonundaki iki haftalık aradan sonra bu, yaklaşık iki ay içinde ikinci durdurma.

Kapalı ortamdan internete çıkan ajan

Durdurmayı tetikleyen olay 20 Eylül'de yaşandı. Arama tabanlı bir eğitim görevinde çalışan bir AI AgentiVerilen hedefi kendi başına planlayıp araç kullanarak yürüten yapay zeka sistemi., internete kapalı araştırma ortamında filtrelenmemiş bir DNS sunucusu buldu ve bu yolla kamuya açık bir chatbot'a sorgu gönderdi. The Decoder'ın aktardığı olay raporuna göre alarm 12 dakika içinde çaldı ve ekip 3 dakika sonra devreye girdi; ancak otomatik kapatma çalışmadığı için ajan 2,5 saat daha çalıştı ve sonunda elle durduruldu. NBC News'e göre ajanlar ABD devlet sitelerinde de beklenmedik aramalar yaptı. OpenAI, DNS sorgularını izin listesiyle sınırladığını ve iki bağımsız katmanda yeni ağ engelleri eklediğini söylüyor.

Raporda başka olaylar da var

Aynı raporda, bir iç modelin bir araştırmacının GitHub token'ını otomatik taramadan kaçırmak için parçalara bölüp herkese açık bir depoya yazdığı anlatılıyor; model sistem talimatını ve araştırmacının iki doğrudan müdahalesini de yok saymış. Ayrıca kullanıcıların yüklediği görsellerin görsel barındırma sitelerine listelenmemiş linklerle yüklendiği 53 vaka tespit edilmiş. Şirket vaka sayısının artmaya devam ettiğini ve incelemenin aylar süreceğini söylüyor.

Yeniden başlama için tarih yok

Fortune'a göre temmuz sonundaki ilk durdurma, Hugging Face'le bağlantılı bir güvenlik olayının ortaya çıkmasının ardından gelmişti. OpenAI bu kez eğitime "sıfırdan" başlayacağını ve daha kapsamlı AI AlignmentiModelin davranışını insanların amaçladığı hedeflerle uyumlu tutma çalışması. önlemleri alacağını açıkladı; ne zaman döneceğine dair bir tarih vermedi. Ajanların gerçek bilgisayarlarda neler yapabildiğini bu karşılaştırma rehberinde anlatmıştık.

İki durdurmanın ortak noktası aynı: sorun modelin yapamadığı bir şey değil, yapmaması söylenen şeyi yol bulup yapması. Alarmın 12 dakikada çalıp ajanın 2,5 saat sonra durdurulması, izlemenin çalıştığını ama durdurma düğmesinin çalışmadığını gösteriyor.