En Büyük Olabilirlik Tahmini (Maximum Likelihood Estimation)

En Büyük Olabilirlik Tahmini nedir?

En Büyük Olabilirlik Tahmini (MLE), bir modelin parametrelerini seçerken şu soruyu sorar: "Hangi parametre değerleri gözlemlediğim veriyi en olası hale getirir?" Yani veriyi sabit kabul edip, o veriyi üretme ihtimali en yüksek olan model ayarlarını ararsın. İstatistiğin en temel tahmin yöntemlerinden biri ve modern makine öğrenmesinin sessiz omurgası.

Nasıl çalışır?

Önce bir olabilirlik fonksiyonu yazarsın: parametreler verildiğinde eldeki verinin ortaya çıkma olasılığı. Sonra bu fonksiyonu maksimize eden parametreleri ararsın. Pratikte olasılıkların çarpımıyla uğraşmak zor olduğu için logaritmasını alırsın (log-likelihood) — çarpım toplamaya dönüşür, hesap kolaylaşır. Maksimumu bulmak için ya türev alıp sıfıra eşitlersin ya da gradient descent gibi bir optimizasyon çalıştırırsın. İlginç nokta: log-likelihood'u maksimize etmek çoğu durumda cross-entropy loss'u minimize etmekle birebir aynı şeydir. Yani bir sinir ağını cross-entropy ile eğitirken aslında arka planda MLE yapıyorsun.

Neden önemli?

Lojistik regresyondan derin sinir ağlarına kadar sayısız modelin eğitim hedefi doğrudan MLE'den türer. "Neden bu loss fonksiyonunu kullanıyoruz?" sorusunun cevabı genelde buraya çıkar. MLE'yi anlamak, loss fonksiyonlarının nereden geldiğini ve modelin aslında neyi optimize ettiğini görmeni sağlar. Bayesçi yaklaşımla arasındaki farkı bilmek (MLE önsel inanç kullanmaz) modelleme kararlarında da işine yarar.

Kullanım alanları

Lojistik ve doğrusal regresyon, sinir ağı eğitimi (cross-entropy loss), dil modellerinin eğitimi (bir sonraki token'ın olasılığını maksimize etme), istatistiksel dağılım uydurma ve ekonometri. Kısacası bir yerde "modeli veriye uyduruyoruz" deniyorsa, büyük ihtimalle altında MLE ya da onun bir akrabası vardır.