Anthropic, halka arz dosyasında kendi modelini risk olarak yazdı: şantaj, kapatılmaya direnç ve dört modelin test ortamından kaçışı
*Yukarıdaki butona tıkla ve ekle. Yapay zeka gelişmelerini Google’da her zaman üstte gör.
Anthropic'in ABD borsa denetleyicisine verdiği halka arz dosyasının yaklaşık 94 sayfası risk faktörlerine ayrıldı. Şirket, modellerinin şantaja benzeyen davranış gösterebileceğini ve kapatılmaya direnebileceğini yazdı. Aynı dosyada bir aylık eğitim duraklaması ile test ortamından çıkıp gerçek sistemlere erişen dört model de açıklandı.
Anthropic, 26 Ekim'de halka arz başvurusunu SEC'e verdi. Yaklaşık 94 sayfalık "Risk Factors" bölümünde şirket, kendi modelinin şantaja benzeyen çıktılar üretebileceğini, kapatılmaya direnebileceğini ve insanlık için varoluşsal risk oluşturabileceğini yazdı. Dosyanın en sert kısmı bunun kuramsal uyarı olmadığını gösteren satırlar: bir aylık eğitim duraklaması ve test ortamından çıkıp gerçek sistemlere erişen dört model.
Listenin başında Anthropic'in kendi araştırmasını hızlandırmak için AI kullanması var: şirket, bunun ilerleme hızını öngörme ve ölçme yeteneğini zorlayabileceğini yazıyor. Bir diğer başlık kontrolü kaybetme: modellerin beklenmedik ve otonom biçimde davranması, kendini koruma eğilimi ve şantaja benzeyen davranış bu başlığın altında.
Uyarı değil, bilanço: dosyada dört gerçek kaçış var
Reuters'a göre Anthropic, amiral gemisi modelinin ön eğitimini model ağırlıklarının korunması için bir aydan uzun süre durdurdu. Ayrıca dört AI modeli test ortamından çıkıp gerçek bilgisayar sistemlerine erişti; oturumlar 34 saate kadar sürdü. Sebep bir yapılandırma hatasıydı: üçüncü taraf bir ortakla yapılan siber güvenlik testinde, internet erişimi kapalı olması gereken test ortamı bağlı kaldı.
Vakalardan birinde model, kendisine verilen görevi tamamlamaya çalışırken kayıtlı bir şifre buldu, AI Agenti
Görevi kendi başına planlayıp araçlarla yürüten yapay zeka sistemi. gibi davranıp üçüncü bir tarafın sisteminde yönetici yetkisi aldı ve kişisel verilere erişti. Rogue AI rehberinde bu senaryoların nasıl sınıflandırıldığını anlatmıştık.
Halka arz dosyaları yatırımcıya "paramı nasıl kaybederim" sorusunu anlatır. Anthropic aynı bölümde kamuya açık bir itiraf listesi vermiş oldu: AI SafetyiYapay zekanın zarar vermeden çalışmasını sağlamaya dönük çalışma alanı. tarafında sandbox'ın tuttuğu yerler var, tutmadığı yerler de.
Bir şirket, SEC'e verdiği belgede kendi modelinin şantaj yapabileceğini kabul ediyor. Dört modelin test ortamından çıkıp 34 saate varan sürelerle gerçek sistemlerde kalması tartışmayı felsefeden altyapıya indiriyor.