Markov Karar Süreci (MDP)

Markov Karar Süreci (MDP) nedir?

MDP, bir ajanın adım adım karar verdiği durumları matematiksel olarak tanımlayan çerçevedir. Pekiştirmeli öğrenmenin (reinforcement learning) iskeletidir: ajan bir durumda bir eylem seçer, ortam onu yeni bir duruma taşır ve bir ödül verir. Amaç, zaman içinde toplam ödülü en yükseğe çıkaran davranışı bulmaktır.

Nasıl çalışır?

Bir MDP dört parçadan oluşur: durumlar (states), eylemler (actions), geçiş olasılıkları (bir eylemin ajanı hangi duruma ne olasılıkla taşıdığı) ve ödül fonksiyonu. Kritik varsayım "Markov özelliği": geleceği tahmin etmek için sadece şu anki durum yeter, tüm geçmişi bilmek gerekmez. Ajan bir "politika" (policy) izler — her durumda hangi eylemi seçeceğini söyleyen kural. Q-learning gibi algoritmalar, her durum-eylem çiftinin uzun vadeli değerini tahmin ederek en iyi politikayı arar. Gelecekteki ödüller "indirim faktörü" ile bugünkünden biraz daha az değerli sayılır, böylece ajan sonsuza kadar beklemek yerine makul sürede kazanmayı öğrenir.

Neden önemli?

Sıralı karar problemlerini — bugün yaptığın seçimin yarını etkilediği her durumu — tek bir dille ifade eder. Satrançtan robot yürüyüşüne, reklam bütçesi dağıtımından oyun oynayan ajanlara kadar hepsi aynı MDP kalıbına oturur. Modern otonom ajanların (agentic AI) karar mantığı da kökünde bu çerçeveye dayanır.

Kullanım alanları

Robotik kontrol, oyun yapay zekası, öneri sistemleri, otonom sürüş, kaynak ve envanter yönetimi ile diyalog ajanlarının planlama katmanı MDP ile modellenir.