Karşıtsal Öğrenme (Contrastive Learning)

Karşıtsal öğrenme nedir?

Contrastive learning (karşıtsal öğrenme), bir modele "neyin neye benzediğini" etiket olmadan öğreten bir self-supervised learning yaklaşımı. Temel fikir çocukça basit: birbirine benzeyen örnekleri temsil uzayında yakınlaştır, alakasızları birbirinden uzaklaştır. Etiketli devasa veri setlerine ihtiyaç duymadan güçlü embedding''ler çıkarmanın en etkili yollarından biri.

Nasıl çalışır?

Diyelim elinde bir kedi fotoğrafı var. Bunu iki farklı şekilde kırpıp, rengini oynatıp iki "augmented" versiyon üretiyorsun — bunlar pozitif çift. Aynı batch''teki başka bir görsel ise negatif örnek. Model, pozitif çiftin temsillerini birbirine yaklaştırmaya, negatiflerinkini uzaklaştırmaya çalışıyor. Bu işi yapan kayıp fonksiyonuna genelde InfoNCE ya da contrastive loss deniyor.

Google''ın 2020''deki SimCLR çalışması bu yaklaşımı popülerleştirdi ve üç şeyi gösterdi: data augmentation seçimi kritik, temsil ile kayıp arasına eklenen küçük bir projeksiyon katmanı işe yarıyor, ve büyük batch size''lar performansı ciddi artırıyor.

Neden önemli?

İnternette etiketsiz veri sınırsız, etiketli veri ise pahalı ve kıt. Karşıtsal öğrenme, o bedava yığından anlamlı temsiller damıtıyor. Bu temsiller sonra çok daha az etiketli veriyle ince ayar yapılarak sınıflandırma, arama, öneri gibi işlere uyarlanabiliyor.

Kullanım alanları

Görüntü temsili (SimCLR, MoCo), metin-görsel eşleştirme (CLIP''in ruhu buradan geliyor), semantic search için embedding üretimi, öneri sistemleri ve anomali tespiti. Modern multimodal modellerin "bir resimle bir cümleyi aynı uzayda buluşturma" yeteneğinin altında büyük ölçüde bu mantık yatıyor.