Bayesçi Optimizasyon (Bayesian Optimization)

Bayesçi Optimizasyon nedir?

Pahalı, yavaş ya da gürültülü bir fonksiyonun en iyi ayarını mümkün olan en az denemeyle bulmaya çalışan bir arama yöntemidir. Adındaki "Bayesçi" kısım şuradan gelir: yöntem her denemeden sonra sonuç hakkındaki inancını olasılıksal olarak günceller ve bir sonraki hamlesini bu güncel inanca göre seçer.

Nasıl çalışır?

Yöntem, gerçek fonksiyonun ucuz bir taklidini (surrogate model, çoğunlukla bir Gaussian Process) kurar. Bu taklit iki şeyi birden taşır: "nerede iyi sonuç bekliyorum" ve "nerede henüz hiç bilgim yok." Bir acquisition function bu ikisini dengeleyerek denenecek bir sonraki noktayı seçer — yani keşif (exploration) ile sömürü (exploitation) arasında denge kurar. Her yeni ölçüm taklidi güncelleştirir ve döngü baştan işler. Böylece model, kör deneme yerine her adımda en çok bilgi kazandıracak noktayı hedefler.

Neden önemli?

Grid search ya da rastgele arama, ayar sayısı arttıkça deneme maliyetini katlayarak büyütür. Bir modeli tek seferde eğitmek saatler sürüyorsa, yüzlerce kör deneme lüks olur. Bayesçi optimizasyon aynı ya da daha iyi sonuca çok daha az denemeyle ulaştığı için, ciddi işlerde hyperparameter tuning'in tercih edilen yolu haline gelmiştir. Her denemenin gerçekten pahalı olduğu yerlerde farkı en çok hissedilir.

Kullanım alanları

Learning rate, batch size, katman sayısı gibi hyperparameter'ların ayarlanması; AutoML sistemleri; deney tasarımı; ayrıca malzeme bilimi ve ilaç keşfi gibi her denemenin zaman ve para yaktığı alanlar. Google Vizier ve pek çok AutoML servisi bu yöntemi altyapı olarak kullanır.