Genelleme (Generalization)

Genelleme nedir?

Genelleme, bir modelin eğitim sırasında görmediği yeni verilerde de isabetli çalışabilme yeteneği. Bir model eğitim setini ezberlemek yerine verinin altında yatan örüntüyü öğrenirse, karşısına daha önce hiç çıkmamış bir örnek geldiğinde de mantıklı bir tahmin üretir. Makine öğrenmesinin bütün derdi aslında budur: ezber değil, genelleme.

Nasıl çalışır?

Model, eğitim verisi üzerinde parametrelerini ayarlar. Ama asıl sınav, ayrı tutulan test verisinde verdiği performanstır. Eğitim hatası çok düşük ama test hatası yüksekse model ezberlemiştir — buna overfitting denir. Tersine, model hem eğitimde hem testte kötüyse örüntüyü hiç yakalayamamıştır — underfitting. İyi genelleme bu iki uç arasındaki dengeyi bulmaktan geçer. Dropout, weight decay gibi regularization teknikleri, cross-validation ile dürüst ölçüm, ve daha fazla + daha çeşitli veri; hepsi bu dengeyi kurmak için devrede.

Neden önemli?

Gerçek dünyada bir model her zaman yeni, görülmemiş girdilerle karşılaşır. Eğitim verisini ezberleyen bir model laboratuvarda parlak görünür ama sahada çuvallar. Bir modelin ne kadar iyi genellediği, onun gerçekten işe yarayıp yaramadığının en dürüst göstergesidir. Test seti performansı, benchmark skorları ve canlı kullanım hep bu yeteneği ölçer.

Kullanım alanları

Görüntü tanımadan dil modellerine, öneri sistemlerinden dolandırıcılık tespitine kadar her denetimli öğrenme probleminde genelleme merkezdedir. Bir spam filtresinin yeni bir spam kalıbını yakalaması, bir dil modelinin daha önce görmediği bir soruya cevap vermesi hep genellemenin eseri. Bir modeli değerlendirirken sorulacak ilk soru şudur: eğitimde iyiydi de, dışarıda ne yapıyor?