Eksik Öğrenme (Underfitting)

Underfitting nedir?

Underfitting (eksik öğrenme), bir makine öğrenmesi modelinin eğitim verisindeki örüntüleri yakalayamayacak kadar basit kalması durumu. Overfitting'in ayna görüntüsü: orada model veriyi ezberler ve yeni veride çuvallar, burada model daha eğitim verisini bile doğru düzgün öğrenemez.

Belirtisi nettir: model hem eğitim verisinde hem test verisinde kötü performans gösterir. Overfitting'de en azından eğitim skoru yüksektir; underfitting'de o bile yoktur.

Nasıl çalışır?

Underfitting genelde üç sebepten doğar. Birincisi, modelin kapasitesi problemin karmaşıklığına yetmez — eğri bir ilişkiyi düz çizgiyle modellemeye çalışmak gibi. İkincisi, eğitim süresi yetersizdir; model daha öğrenme fırsatı bulamadan eğitim kesilmiştir. Üçüncüsü, modele verilen özellikler (feature) problemi açıklamak için yeterli bilgi taşımaz.

Aşırıya kaçan regularization da klasik bir tetikleyici. Overfitting'i önlemek için eklenen dropout, weight decay gibi frenler fazla sıkılırsa model bu kez hiçbir şey öğrenemez hale gelir. Yani iki uç arasında bir denge oyunu var: makine öğrenmesi literatüründe buna bias-variance dengesi denir. Underfitting yüksek bias tarafında, overfitting yüksek variance tarafında durur.

Neden önemli?

Model geliştirmenin en temel teşhis becerilerinden biri, kötü performansın hangi uçtan kaynaklandığını anlamak. Çünkü reçeteler taban tabana zıt: overfitting'de modeli sadeleştirir veya veri artırırsın; underfitting'de modeli büyütür, daha uzun eğitir veya regularization'ı gevşetirsin. Yanlış teşhis, yanlış müdahale demek — underfit bir modele daha fazla dropout eklemek durumu sadece kötüleştirir.

Eğitim ve doğrulama (validation) skorlarını yan yana izlemek bu teşhisin en pratik yolu. İkisi de düşükse underfitting, aralarındaki makas açıksa overfitting ihtimali yüksektir.

Kullanım alanları

Underfitting kavramı her model eğitimi sürecinin parçası: fine-tuning yaparken epoch sayısına karar verirken, hyperparameter ayarlarken, model boyutu seçerken hep bu denge gözetilir. Küçük modellerle karmaşık görevleri çözmeye çalışan herkesin er ya da geç tanıştığı bir durum — bazen çözüm daha iyi ayar değil, daha büyük model olur.