Hiperparametre (Hyperparameter)

Hiperparametre nedir?

Hiperparametre, bir modelin eğitimi başlamadan önce dışarıdan belirlenen ayar değeridir. Modelin eğitim sırasında veriden öğrendiği değerlere (ağırlıklara) karışmaz; onları sen ya da eğitim sürecini kuran kişi elle seçer. Kısacası "modelin nasıl öğreneceğini" tarif eden düğmelerdir, "modelin ne öğrendiği" değil.

Nasıl çalışır?

Bir modeli eğitirken iki tür sayı vardır. Birincisi parametreler •modelin veriden öğrendiği ağırlıklar•, ikincisi hiperparametreler. learning-rate •modelin her adımda ne kadar büyük güncelleme yapacağı•, batch size (her adımda kaç örnek işlendiği), epoch sayısı (verinin kaç kez baştan sona geçileceği) ve katman sayısı tipik örneklerdir. Bunları eğitimden önce belirlersin, model eğitilir, sonucu ölçersin, beğenmezsen değerleri değiştirip tekrar denersin. Bu deneme-yanılma döngüsüne hiperparametre optimizasyonu denir; grid search veya rastgele arama gibi yöntemlerle otomatikleştirilebilir.

Neden önemli?

Yanlış hiperparametre, iyi bir mimariyi bile çöpe çevirir. Learning rate çok yüksekse model öğrenemeden savrulur, çok düşükse sonsuza kadar sürünür. Hiperparametreler aynı zamanda overfitting •modelin eğitim verisini ezberleyip yeni veride çuvallaması• ile aşırı genelleme arasındaki dengeyi belirler. Doğru ayarlar performansı uçurur, yanlışları en pahalı GPU'yu bile boşa harcatır.

Kullanım alanları

Fine-tuning sırasında learning rate ve epoch seçimi, regularization gücünün ayarlanması, ve model boyutu kararları hep hiperparametre işidir. Bir modeli sıfırdan eğitirken de hazır bir modeli kendi verine uyarlarken de en çok vakit harcayacağın yer burasıdır.