Öz-Denetimli Öğrenme (Self-Supervised Learning)

Öz-denetimli öğrenme nedir?

Öz-denetimli öğrenme (self-supervised learning), modelin insan eliyle etiketlenmiş veriye ihtiyaç duymadan, ham verinin kendi içindeki yapıyı kullanarak öğrendiği bir yaklaşım. Veriyi modele hem soru hem cevap olarak verir: bir kısmını saklar, modelden onu tahmin etmesini ister. Etiketi insan değil, verinin kendisi üretir.

Nasıl çalışır?

Klasik örnek dil modelleri: bir cümlenin bir kısmını gizlersin, model eksik kısmı tahmin etsin. "Kediler çok ___ hayvanlardır" cümlesinde modelden boşluğu doldurmasını istersin. Doğru cevabı zaten metnin kendisinden bilirsin, yani ekstra etiketleme gerekmez. Model milyarlarca cümlede bu tahmin oyununu oynayarak dilbilgisini, olguları ve bağlamı kavrar. Görüntüde de aynı mantık işler: resmin bir parçasını kapatıp modele tamamlattırırsın. Bu sayede pretraining •modelin temel yetenekleri kazandığı ilk büyük eğitim aşaması• devasa veri kümeleriyle, manuel etiketleme maliyeti olmadan yapılabilir.

Neden önemli?

Etiketli veri pahalı ve yavaş — bir insanın tek tek işaretlemesi gerekir. İnternetteki devasa metin, görüntü ve kod yığını ise etiketsiz ama bedava. Öz-denetimli öğrenme bu yığını doğrudan kullanılabilir hale getirir ve bugünkü foundation model çağının temelini atan şey budur. GPT, BERT gibi mimarilerin neden bu kadar geniş bilgiye sahip olduğunun cevabı buradadır: kimse onlara tek tek "bu doğru, bu yanlış" demedi, kendileri tahmin ede ede öğrendiler.

Kullanım alanları

Büyük dil modellerinin ön eğitimi, görüntü temsili öğrenme, konuşma tanıma ve çok dilli modeller öz-denetimli öğrenme üzerine kuruludur. supervised-learning ve unsupervised-learning arasında bir köprü gibi düşünebilirsin: etiket var ama o etiketi insan değil veri üretiyor.