Markov Zinciri (Markov Chain)

Markov Zinciri nedir?

Bir sistemin bir durumdan diğerine, geçmişi hiç hesaba katmadan, yalnızca içinde bulunduğu anki duruma bakarak geçtiği olasılıksal modele Markov zinciri denir. Temel fikir tek cümleyle özetlenebilir: "gelecek, tüm geçmişe değil sadece bugüne bağlıdır." Bu özelliğe Markov özelliği (memorylessness) denir.

Nasıl çalışır?

Sistem sonlu sayıda durumdan oluşur ve her durumdan diğerine geçişin belirli bir olasılığı vardır. Bu olasılıklar bir geçiş matrisinde tutulur. Bir sonraki adımı seçmek için model sadece o an bulunduğu durumun satırındaki olasılıklara bakar, daha öncesini unutur. Klasik örnek hava durumudur: bugün güneşliyse yarın %70 güneşli, %30 yağmurlu olabilir — ve dünkü havanın bu tahmine hiçbir etkisi yoktur. Zinciri yeterince uzun çalıştırınca sistem çoğu zaman kararlı bir dağılıma oturur.

Neden önemli?

Markov zinciri, bugünün yapay zekasının altındaki birçok fikrin köküdür. Reinforcement Learning'in temeli olan Markov Decision Process, gizli durumlar ekleyen Hidden Markov Model ve ilk istatistiksel dil modelleri (n-gram) hep bu mantığın üstüne kurulur. Google'ın ilk sıralama algoritması PageRank de aslında web sayfaları arasında gezinen dev bir Markov zinciriydi. Yani "bir sonraki adımı olasılıkla seç" fikri, dil modellerinden arama motorlarına kadar uzanır.

Kullanım alanları

Basit metin üretimi ("sonraki kelimeyi tahmin et"), konuşma tanıma, finansal modelleme, kuyruk ve stok sistemleri, web gezinme simülasyonları ve oyun yapay zekaları. Bugünün Transformer tabanlı modelleri çok daha uzun bir bağlam taşısa da, olasılıkla adım adım ilerleme fikrinin kökeni bu basit ve zarif modele dayanır.