Etiket Yumuşatma (Label Smoothing)

Label Smoothing nedir?

Label smoothing (etiket yumuşatma), sınıflandırma modellerini eğitirken kullanılan basit ama etkili bir tekniktir. Normalde bir modele "bu resim %100 kedi, %0 köpek" dersin. Label smoothing ise hedefi biraz yumuşatır: "bu resim %90 kedi, geri kalanı diğer sınıflara dağılmış" gibi. Model artık asla tam kesinlik peşinde koşmaz.

Nasıl çalışır?

Klasik eğitimde doğru sınıfın hedef değeri 1, diğerleri 0'dır (one-hot encoding). Model bu hedefe ulaşmak için logit'lerini sonsuza doğru büyütmeye çalışır; bu da aşırı özgüvene yol açar. Label smoothing, doğru sınıftan küçük bir pay (örneğin 0.1) alıp bunu tüm sınıflara eşit dağıtır. Yani hedef 1 yerine 0.9 olur, kalan 0.1 diğerlerine serpiştirilir. Model böylece "çok eminim" demeyi bırakır, softmax çıktıları daha ölçülü kalır.

Neden önemli?

Aşırı özgüvenli modeller iki sorun yaratır: yeni verilerde kötü genelleme yaparlar ve verdikleri olasılıklar gerçek güveni yansıtmaz (kötü calibration). Label smoothing her ikisini de düzeltir. Model biraz alçakgönüllü olmayı öğrenince, eğitim verisini ezberlemek yerine gerçek örüntüleri yakalar; overfitting azalır. Ayrıca çıktı olasılıkları daha güvenilir hale gelir, bu da riskli kararlarda işe yarar.

Kullanım alanları

Görüntü sınıflandırma (ünlü Inception mimarisiyle popülerleşti), makine çevirisi ve büyük dil modellerinin ön eğitiminde yaygın kullanılır. Transformer tabanlı çeviri modellerinin standart tarifinin bir parçasıdır. Basitliği ve neredeyse bedava performans artışı yüzünden birçok eğitim hattında varsayılan olarak açık gelir.