Beklenti-Maksimizasyon (EM)

Beklenti-Maksimizasyon nedir?

Beklenti-Maksimizasyon (Expectation-Maximization, kısaca EM), bir modelin gözlemlenemeyen yani gizli (latent) değişkenleri varken parametrelerini tahmin etmek için kullanılan klasik bir algoritmadır. Elinde görünen veriler vardır ama her verinin hangi gruptan ya da hangi kaynaktan geldiği belli değildir. Bu bilinmeyen atama "gizli değişken"dir ve onu bilmediğin için en olası parametreleri doğrudan hesaplamak zorlaşır.

EM bu çıkmazı yumuşak bir döngüyle çözer: parametreleri bilmek için gizli değişkenleri, gizli değişkenleri bilmek için de parametreleri isteriz. Biri olmadan diğeri hesaplanamadığından, algoritma ikisini sırayla tahmin ederek adım adım iyileştirir.

Nasıl çalışır?

EM iki adımı tekrarlar:

E-adımı (Expectation): Mevcut parametre tahminiyle, her verinin hangi gizli gruba ait olma olasılığını hesaplar. Bu olasılıklara "sorumluluk" (responsibility) denir — örneğin bir noktanın %70 birinci kümeden, %30 ikinci kümeden gelmiş olma ihtimali.

M-adımı (Maximization): E-adımındaki olasılıkları sabit tutarak, bu sorumluluklarla ağırlıklandırılmış yeni parametreleri (ortalama, varyans, karışım ağırlıkları) hesaplar.

Bu iki adım sırayla döner. Matematiksel olarak kanıtlanabilen önemli bir garanti vardır: her iterasyon log-olabilirliği (likelihood) ya artırır ya da sabit tutar, asla düşürmez. Bu yüzden algoritma kararlı biçimde bir çözüme yakınsar.

Neden önemli?

EM, denetimsiz öğrenmenin (unsupervised learning) temel taşlarından biridir. En bilinen örneği Gaussian Mixture Model'dir: veriyi birkaç normal dağılımın karışımı olarak modelleyip her noktanın hangi dağılıma ait olduğunu EM ile çözersin. k-means kümeleme de EM'in sertleştirilmiş, yani her noktanın tek bir kümeye atandığı özel bir hali gibi düşünülebilir.

Eksik verinin doldurulması, gizli konu modelleri ve istatistiksel tahmin problemleri de EM'in doğal uygulama alanlarıdır.

Kullanım alanları

• Kümeleme (clustering) ve müşteri segmentasyonu
• Eksik veya kayıp verinin tamamlanması (imputation)
• Konuşma ve görüntü tanımada istatistiksel modeller
• Gizli konu modelleme ve doğal dil işleme
• Biyoinformatik ve sinyal işlemede gizli yapıların çıkarılması

Tek uyarı: EM genel (global) değil yerel (local) bir optimuma yakınsar ve sonuç başlangıç değerlerine duyarlıdır. Bu yüzden pratikte farklı başlangıçlarla birkaç kez çalıştırılıp en iyisi seçilir.