AdaBoost (Uyarlanır Güçlendirme)

AdaBoost nedir?

AdaBoost, tek başına pek başarılı olmayan basit modelleri arka arkaya dizip hepsini bir arada daha güçlü tek bir tahminciye dönüştüren bir yöntem. Adı "Adaptive Boosting"ten geliyor, yani "uyarlanır güçlendirme". Fikir 1995'te Yoav Freund ve Robert Schapire tarafından ortaya atıldı ve bugün hâlâ karar ağaçlarıyla birlikte en çok kullanılan topluluk yöntemlerinden biri.

Buradaki weak learner •rastgele tahminden biraz daha iyi iş çıkaran basit model• çoğunlukla tek dallı küçük karar ağaçları, yani karar kütükleri oluyor. Tek başına bu kütükler zayıf; ama AdaBoost onları sırayla eğitip her birinin öncekinin açığını kapatmasını sağlıyor.

Nasıl çalışır?

Başlangıçta eğitim verisindeki her örnek eşit ağırlıkta ve ilk zayıf öğrenici bu veri üzerinde eğitiliyor. Sonra şuna bakılıyor: hangi örnekleri yanlış tahmin etti? Yanlış bilinen örneklerin ağırlığı artırılıyor, doğru bilinenlerinki azaltılıyor. Böylece bir sonraki öğrenici, zorlanılan örneklere daha çok odaklanmak zorunda kalıyor.

Bu döngü belirlenen sayıda tekrar ediyor. Her turda yeni bir model, bir öncekinin takıldığı yerlere yoğunlaşıyor. Sonunda tüm öğreniciler ağırlıklı oylamayla (sınıflandırmada) ya da ağırlıklı toplamla (sayısal tahminde) birleştiriliyor; işini iyi yapan öğrenicinin oyu daha çok sayılıyor. learning rate •her öğrenicinin sonuca katkısını ayarlayan değer• ile bu katkının ne kadar güçlü olacağı kontrol ediliyor.

Neden önemli?

AdaBoost'un güzelliği, çok basit parçalardan güçlü bir bütün çıkarabilmesi. Elinde karmaşık tek bir model olmadan, bir sürü küçük modeli akıllıca dizerek yüksek doğruluk elde edebiliyorsun. Hataya odaklanma mantığı sayesinde zor örnekleri ihmal etmiyor.

Dikkat etmen gereken yer de tam burada: veri çok gürültülüyse ya da yanlış etiketlenmiş örnekler varsa, AdaBoost o hatalı örneklere ısrarla ağırlık verip onların peşine düşebiliyor. Bu da modeli yanıltıyor.

Kullanım alanları

Yüz tanımadan dolandırıcılık tespitine, metin sınıflandırmadan sağlık verisinde risk tahminine kadar birçok yerde kullanılıyor. Hazır kütüphanelerde (örneğin scikit-learn'deki AdaBoostClassifier ve AdaBoostRegressor) doğrudan çağırabiliyorsun; çok sınıflı problemler için SAMME, sayısal tahmin için R2 adlı sürümleri var. Gradient boosting ve random forest gibi diğer topluluk yöntemlerinin de atası sayılır.