Tümevarımsal Önyargı (Inductive Bias)

Tümevarımsal Önyargı nedir?

Bir model eğitim verisini ezberleyip bırakmaz; asıl beklentimiz görmediği örneklerde de doğru tahmin yapmasıdır. Ama sonlu bir veriden sonsuz olasılık arasında "doğru" kuralı seçmek imkânsızdır — mantıken sayısız kural aynı veriye uyar. İşte modeli belirli çözümlere doğru eğen o yerleşik varsayımlar bütününe tümevarımsal önyargı denir. "Önyargı" burada kötü bir şey değil; olmazsa öğrenme de olmaz.

Nasıl çalışır?

Tümevarımsal önyargı modelin mimarisine ve eğitim kurgusuna gömülüdür. Birkaç örnek:

Konvolüsyonel ağlar (CNN) "bir nesne görüntünün neresinde olursa olsun aynı nesnedir" varsayımını taşır — yani konum kaymasına karşı dayanıklılık. Tekrarlayan ağlar (RNN) veride sıra ve zaman olduğunu varsayar. Transformer'lar ise daha zayıf bir önyargıya sahiptir, bu yüzden iyi çalışmak için çok daha fazla veri isterler ama karşılığında daha esnektirler. Regülarizasyon, ağın basit çözümleri tercih etmesi de birer önyargıdır.

Neden önemli?

Çünkü doğru önyargı, az veriyle iyi genelleme demektir; yanlış önyargı ise modelin duvara toslaması. Görüntü işi için CNN'in mekânsal önyargısı bedava bir avantajdır. Ama aynı önyargı, sırayla ilgisi olmayan bir problemde işe yaramaz, hatta köstek olur. Bir modelin neden bazı işlerde parladığını bazılarında tökezlediğini çoğu zaman tümevarımsal önyargısı açıklar. Model seçimi, aslında probleme uygun önyargıyı seçmektir.

Kullanım alanları

Mimari seçiminde (görüntü için CNN, grafik veriler için graph neural network, dil için transformer); az veriyle çalışılan alanlarda doğru önyargıyla veri açığını kapatmada; ve büyük modellerin neden "her şeyi öğrenebilir ama çok veri ister" olduğunu anlamada bu kavram merkezdedir. Bias-variance dengesi de doğrudan bununla ilişkilidir.