Düzenlileştirme (Regularization)
Araç kavramlarıDüzenlileştirme (Regularization) nedir?
Regularization, bir makine öğrenmesi modelinin eğitim verisine aşırı uyum sağlamasını (overfitting) engellemek için uygulanan teknikler bütünüdür. Model, gördüğü örnekleri ezberlemek yerine arkasındaki örüntüleri öğrenmeye zorlanır; bu sayede daha önce görmediği verilerde de tutarlı sonuçlar üretir.
Nasıl çalışır?
Regularization'ın en yaygın biçimleri ağırlık cezalandırma (weight penalty) yöntemleridir:
- L1 (Lasso): Ağırlıkların mutlak değerlerinin toplamını kayıp fonksiyonuna ekler. Bazı ağırlıkları sıfıra çekerek seyrek (sparse) modeller üretir.
- L2 (Ridge): Ağırlıkların karelerinin toplamını kayıp fonksiyonuna ekler. Ağırlıkları küçük ama sıfır olmayan değerlerde tutar.
- Dropout: Eğitim sırasında rastgele nöronları geçici olarak devre dışı bırakır; böylece model tek bir nörona bağımlı kalmaz.
- Early Stopping: Doğrulama kaybı artmaya başladığında eğitimi durdurur.
- Data Augmentation: Eğitim verisini sentetik olarak çeşitlendirerek modelin daha fazla örüntü görmesini sağlar.
LLM'lerde regularization genellikle dropout ve weight decay (L2'nin optimizer versiyonu) şeklinde uygulanır. Ek olarak gradient clipping gibi teknikler de modeli kararlı tutar.
Neden önemli?
Eğitim kaybı düşük ama test kaybı yüksekse model ezberlemiş demektir. Regularization bu makas'ı kapatır. Özellikle veri az, model büyükse (ki modern LLM'lerde parametre sayısı astronomik) regularization olmadan model neredeyse garanti olarak overfitting yapar.
Aynı zamanda regularization modeli daha "mütevazı" hale getirir: aşırı güvenli tahminler yerine belirsizliği daha iyi yansıtan çıktılar üretir.
Kullanım alanları
- Fine-tuning sırasında küçük veri setleriyle çalışırken overfitting önleme
- Büyük dil modellerinin ön eğitiminde ağırlık decay uygulaması
- Görüntü sınıflandırma modellerinde dropout katmanları
- Zaman serisi tahmininde erken durdurma
- Az veriyle eğitilen özel domain modellerinde L2 cezalandırma