Gradyan Artırma (Gradient Boosting)

Gradyan Artırma nedir?

Gradient boosting, birçok zayıf modeli (genelde küçük karar ağaçlarını) sırayla eğitip birleştirerek güçlü bir tahmin modeli oluşturan bir ensemble •birden fazla modeli birleştirme• tekniğidir. Fikir şu: tek bir model her şeyi doğru yapmaya çalışmaz. Bunun yerine her yeni model, kendinden önceki modellerin yaptığı hataya odaklanır ve onu düzeltmeye çalışır.

Nasıl çalışır?

İlk model basit bir tahmin yapar ve hata bırakır. İkinci model bu hatayı (kalıntıyı) tahmin etmeye çalışır. Üçüncü model ikisinin toplam hatasını hedefler ve bu böyle devam eder. Her adımda model, kayıp fonksiyonunun gradyanı •hatayı en hızlı azaltan yön• doğrultusunda ilerler — ismi buradan gelir. Learning rate •her adımın ne kadar etkili olacağını belirleyen katsayı• ile her modelin katkısı ölçülür; küçük tutmak genelde daha sağlam sonuç verir ama daha çok ağaç gerektirir.

Neden önemli?

Yapılandırılmış (tablo) veride uzun süredir en güçlü yöntemlerden biri. Kaggle yarışmalarının ve gerçek dünya üretim sistemlerinin favorisi. Doğrusal olmayan karmaşık ilişkileri yakalar, eksik veriyle başa çıkabilir ve genelde derin öğrenmeye gerek kalmadan tablo verisinde en iyi sonucu verir. Riski: fazla ağaçla overfitting •modelin eğitim verisini ezberleyip yeni veride başarısız olması• yapabilir, bu yüzden ayarı önemlidir.

Kullanım alanları

Kredi risk skorlama, dolandırıcılık tespiti, arama sonucu sıralama, satış tahmini ve fiyatlandırma. XGBoost, LightGBM ve CatBoost gibi popüler kütüphaneler bu tekniğin optimize edilmiş versiyonlarıdır.