Deneysel Risk Minimizasyonu (Empirical Risk Minimization)

Deneysel Risk Minimizasyonu nedir?

Deneysel risk minimizasyonu (empirical risk minimization, kısaca ERM), istatistiksel öğrenme teorisinin temel ilkelerinden biridir. Kısaca şunu söyler: Olası modeller arasından, eğitim verisi üzerindeki ortalama hatayı en küçük yapan modeli seç.

Burada "risk", modelin beklenen hatası demektir. Asıl istediğimiz, modelin gelecekte göreceği tüm veriler üzerindeki hatayı, yani gerçek riski küçültmektir. Ama gerçek veri dağılımını bilmediğimiz için bunu doğrudan hesaplayamayız. Elimizde sadece o dağılımdan alınmış bir örneklem vardır: eğitim verisi. ERM, bu örneklem üzerindeki ortalama hatayı, yani deneysel riski, gerçek riskin bir tahmini olarak kullanır.

Nasıl çalışır?

Süreç üç adımdan oluşur:

• Model ailesini seç: Doğrusal modeller, karar ağaçları, belirli bir mimarideki sinir ağları gibi.
• Kayıp fonksiyonunu belirle: Tek bir tahminin ne kadar yanlış olduğunu ölçen fonksiyon; örneğin mean squared error ya da cross-entropy.
• Ortalamayı küçült: Eğitim örneklerinin her biri için kaybı hesapla, ortalamasını al ve bu ortalamayı en küçük yapan parametreleri bul.

Gradient descent ile bir sinir ağı eğitirken yapılan şey, tam olarak ERM'dir. Her mini-batch'teki ortalama loss'u küçültmek, deneysel riski adım adım azaltmak demektir.

ERM'nin bilinen bir zaafı var: Model ailesi çok esnekse, eğitim verisini ezberleyerek deneysel riski sıfıra indirebilir ama gerçek riskte kötü sonuç verir. Bu, overfitting'in teorik açıklamasıdır. Çözüm olarak regularization eklenir ve buna yapısal risk minimizasyonu (structural risk minimization) denir: Hem hatayı hem de model karmaşıklığını küçültmeye çalışılır.

Neden önemli?

ERM, "neden eğitim verisinde iyi olan model yeni veride de iyi olsun?" sorusunu düşünmenin çerçevesini sunar. Genelleme teorisi, ERM'nin hangi koşullarda işe yaradığını inceler: yeterli veri, uygun model kapasitesi ve eğitim ile test verisinin aynı dağılımdan gelmesi (i.i.d. varsayımı). Bu koşullardan biri bozulduğunda neden sorun çıktığını anlamak için ERM'yi bilmek gerekir.

Kullanım alanları

• Denetimli öğrenme: Regresyon ve sınıflandırma modellerinin neredeyse hepsinin eğitimi.
• Derin öğrenme: Mini-batch gradient descent ile yapılan standart eğitim.
• Öğrenme teorisi: Genelleme sınırlarının ve örneklem karmaşıklığının analizi.
• Adalet ve dayanıklılık araştırmaları: Ortalama yerine en kötü grubun hatasını küçülten alternatif yaklaşımların geliştirilmesi.