Model Çöküşü (Model Collapse)

Model çöküşü nedir?

Model çöküşü, bir üretken modelin kendinden önceki modellerin ürettiği veriyle eğitilmesi sonucu kalitesinin nesiller boyunca bozulmasıdır. İlk nesil gerçek insan verisiyle eğitilir. İkinci nesil, birincinin çıktısıyla. Üçüncü, ikincininkiyle. Her turda model, gerçek dağılımın nadir uçlarını biraz daha kaybeder.

Sonuç dramatik bir hata değil, sinsi bir daralmadır: model gitgide daha ortalama, daha tekdüze, daha tahmin edilebilir çıktı verir.

Nasıl çalışır?

İki mekanizma birlikte işliyor:

İstatistiksel yaklaşım hatası: Hiçbir model, eğitildiği dağılımı sonsuz hassasiyetle temsil edemez. Sonlu örnekle çalışıldığı için nadir olaylar bazen hiç örneklenmez. O nadir olay bir sonraki neslin verisinde yoktur — yani artık yok sayılır.

Kuyrukların kaybı: Üretken modeller yüksek olasılıklı bölgeyi daha sık örnekler. Kendi çıktısıyla eğitilen model, dağılımın kuyruklarını (nadir kelimeler, sıra dışı üslup, azınlık örüntüler) her turda biraz daha kırpar. Yeterince tur sonra elde kalan şey, orijinal dağılımın dar bir karikatürüdür.

Etki sadece dil modellerinde değil; difüzyon modellerinde ve varyasyonel otokodlayıcılarda da ölçülmüş durumda.

Önemli bir nüans: çöküş kaçınılmaz değil. Sentetik veriyi gerçek verinin yerine koymak çöküşe yol açıyor; gerçek veriyi koruyup sentetik veriyi üstüne biriktirmek ise hatayı sınırlı tutabiliyor. Yani mesele sentetik verinin varlığı değil, gerçek verinin yerinden edilmesi.

Neden önemli?

İnternet artık üretilmiş metin ve görselle dolu. Yarın toplanan "web verisi", dünkü modellerin çıktısını da içeriyor. Bu, herkesin ortak eğitim havuzunu yavaşça kirletiyor.

Pratik sonucu şu: 2020 öncesi toplanmış insan verisi giderek daha kıymetli bir kaynak haline geliyor. Veri kökeninin (provenance) izlenmesi, artık akademik bir titizlik değil altyapı meselesi.

Kullanım alanları

• Veri kümesi tasarımı: Sentetik veri eklenirken gerçek veri oranı korunur, değiştirilmez.
• Veri kökeni takibi: Hangi örneğin insan, hangisinin model ürünü olduğu etiketlenir.
• Filtreleme: Eğitim öncesi üretilmiş içerik tespit edilip ayıklanır ya da ağırlığı düşürülür.
• Sentetik veri doğrulama: Üretilen veri, üretilen modelden bağımsız bir doğrulayıcıdan geçirilerek kalite tabanı korunur.