Ridge Regresyon (L2 Düzenlileştirme)

Ridge Regresyon nedir?

Ridge regresyon, klasik doğrusal regresyonun başını ağrıtan bir sorunu çözmek için geliştirilmiş bir yöntem. Normal en küçük kareler OLS •hatayı en aza indirmeye çalışan standart doğrusal regresyon• yöntemi, veri sütunları birbirine çok benziyorsa (yani özellikler birbiriyle yüksek ilişkiliyse) şaşırmaya başlıyor. Bu duruma çoklu doğrusal bağlantı deniyor ve sonuçta modelin katsayıları en ufak veri değişiminde zıplayıp duruyor.

Ridge, katsayıların büyüklüğüne bir ceza ekleyerek bunu dizginliyor. Katsayıları sıfıra doğru çektiği için modeli daha dengeli ve dışarıdan gelen rastlantısal hatalara karşı daha dayanıklı yapıyor.

Nasıl çalışır?

Normal regresyon sadece "tahmin ile gerçek değer arasındaki hatayı küçült" der. Ridge buna bir madde daha ekliyor: "katsayılar da gereğinden büyük olmasın". Yani hem hatayı küçültüyor hem de katsayıların karelerinin toplamını L2 cezası •katsayı büyüklüklerinin karesine uygulanan ceza• küçük tutmaya çalışıyor.

Bu cezanın ne kadar ağır olacağını alfa adı verilen bir ayar belirliyor. Alfa büyüdükçe baskı artıyor, katsayılar daha çok küçülüyor ve model ilişkili özelliklere karşı daha sağlam hale geliyor. Alfa'yı çok büyütürsen model fazla basitleşip asıl sinyali kaçırabiliyor; çok küçük tutarsan neredeyse normal regresyona geri dönüyorsun. Doğru alfa'yı genelde çapraz doğrulama cross-validation •veriyi parçalayıp ayarı sınayarak en iyisini seçme• ile buluyorsun.

L2 ve L1 farkı

Ridge'in kullandığı L2 cezası katsayıları küçültür ama tam sıfır yapmaz; tüm özellikler modelde kalır, sadece etkileri kısılır. Yakın akrabası Lasso ise L1 cezası kullanır ve bazı katsayıları tam sıfıra indirerek işe yaramayan özellikleri tamamen eler. İkisini birleştiren Elastic-Net de var. Hangisini seçeceğin, tüm özellikleri tutmak mı yoksa bir kısmını elemek mi istediğine bağlı.

Kullanım alanları

Ridge, özellikle elinde çok sayıda ve birbiriyle ilişkili özellik olduğunda işe yarıyor: ekonomik tahmin, sağlık verisi analizi, sensör ölçümleri gibi. Katsayıları aşırı uçlara kaçmaktan koruduğu için yeni veride daha tutarlı tahmin veriyor. scikit-learn'de Ridge ve RidgeCV ile doğrudan kullanabiliyorsun; RidgeCV uygun alfa değerini senin yerine deneyip seçiyor.