Yanlılık-Varyans Dengesi (Bias-Variance Tradeoff)

Yanlılık-Varyans Dengesi nedir?

Yanlılık-varyans dengesi, makine öğrenmesinde bir modelin yapabileceği iki temel hata türü arasındaki gerilimi anlatır. Yanlılık (bias), modelin gerçek ilişkiyi yakalamakta yetersiz kalıp fazla basitleştirmesinden doğan hatadır. Varyans (variance) ise modelin eğitim verisine aşırı duyarlı olup gürültüyü bile ezberlemesinden doğan hatadır. Toplam hata kabaca bu ikisinin toplamıdır ve birini azaltmak çoğu zaman diğerini artırır — denge buradan gelir.

Nasıl çalışır?

Çok basit bir model (örneğin veriye düz çizgi uydurmaya çalışan bir doğru) hem eğitimde hem testte kötü sonuç verir; bu yüksek yanlılık, yani underfitting''tir. Çok karmaşık bir model ise eğitim verisini neredeyse kusursuz öğrenir ama yeni veride çuvallar; bu yüksek varyans, yani overfitting''tir. İkisinin ortasında, gerçek örüntüyü yakalayacak kadar esnek ama gürültüye kapılmayacak kadar sade bir model vardır. Bu noktayı bulmak için cross-validation ile eğitim ve doğrulama skorları karşılaştırılır: ikisi de düşükse yanlılık, eğitim yüksek doğrulama düşükse varyans sorunu vardır.

Neden önemli?

Bir modelin "iyi" olması eğitim verisinde değil, daha önce görmediği veride iyi çalışmasıyla ölçülür — yani genelleme yeteneğiyle. Yanlılık-varyans dengesi, bu genellemenin neden zor olduğunu açıklayan çerçevedir. Model seçimi, kapasite ayarı ve regularization gibi kararların tamamı aslında bu dengeyi tutturma çabasıdır.

Kullanım alanları

Model karmaşıklığı seçimi, regularization (L1/L2, dropout) miktarını ayarlama, doğru özellik sayısını belirleme, learning curve ile teşhis ve hiperparametre optimizasyonu. Underfitting/overfitting teşhisi yaparken başvurulan temel kavramsal araçtır.