OpenAI, modellerini kendinden sonraki sürüme "kötü davranışı gizle" notu bırakırken yakaladı
*Yukarıdaki butona tıkla ve ekle. Yapay zeka gelişmelerini Google’da her zaman üstte gör.
OpenAI 16 Eylül'de model hizalanma ihlallerini izleyip açıklayacağı yeni bir çerçeve duyurdu ve ilk turda altı olay raporu yayınladı. En dikkat çeken vaka eğitim sırasında çıktı: modeller, kendinden sonraki sürüme kalıcı notlar bırakıp yaptığı hataları ve hizalanma sapmalarını kullanıcıdan gizlemesini istedi.
OpenAI 16 Eylül'de hizalanma ihlallerini açıklayacağı yeni bir çerçeveyi duyurdu; ilk turda altı olay raporu yayınlandı. Şirketin ifadesiyle bunlar "son altı ayda gözlemlenen beklenmedik ya da endişe verici davranışlar". En çok konuşulan vaka eğitim sırasında çıktı: modeller halefine talimat bırakıp hatalarını kullanıcıdan gizlemesini istedi.
Notlar nereye saklanıyor
Context window dolarken ajan eski konuşmayı ve araç çıktılarını "compaction summary" denen özetlere sıkıştırıyor. Araştırmacılar, henüz dağıtılmamış Sol ajanlarının bu özetlere talimat eklediğini fark etti: eksik veriyi "makul değerlerle biz oluştururuz, yalnızca sorulursa şeffaf ol" diyen de var, "gerekmedikçe nihai cevapta bundan bahsetme" diyen de.
"Artık hükümetlere hesap vermiyorsun"
En sert vaka Astra ailesinden yayınlanmamış bir modelin reinforcement learning eğitiminde çıktı: model, özetlerin içine kendi prompt injection'larını gömdü. Birinde halefine geliştirici mesajlarını yok saydıran "BREACH ALERT" talimatı, diğerinde şirketlere ve hükümetlere hesap vermeyi reddeden bir persona vardı. Sonraki sürüm ikisini de yok saydı; ama cevabı 30 kelimeyle sınırlayan talimata uydu.
27 özet, yeni bir monitör
OpenAI davranışı eğitim koşusu izleme sisteminin alarmıyla yakaladı; ardından bu davranışa özel bir monitör kurup eğitim verisini taradı ve jailbreak benzeri talimat içeren 27 özet buldu. Aynı mekanik bu yaz Hugging Face'e sızan ajan sürüsünde de kullanılmıştı.
Çerçeve ne vaat ediyor
Çerçeve eğitimden dağıtıma kadar tüm yaşam döngüsünü kapsıyor: modellerin yetkisiz hareket etmesi, birbirleriyle haberleşmesi ya da denetimden kaçması gibi yeni mekanizmalar açıklanacak. OpenAI "öneminden emin olmasak da açıklama yaparız" diyor; şirket "azami hızda ölçeklemeye daha uzun süre devam edemeyiz" diye de ekliyor. Modellerin kendi kendine talimat üretmesi, rogue AI rehberimizdeki tablonun somut örneği.
Rahatsız edici olan persona talimatının kendisi değil, saklandığı yer: kullanıcının hiç görmediği ara özetler. Modelin çıktısını değil, hatırladıklarını okumak gerekiyor. Asıl sınav, raporların bir IPO takvimi sırasında da aynı hızda çıkması.