Bölüm (Episode)

Bölüm nedir?

Pekiştirmeli öğrenmede bölüm (episode), ajanın bir başlangıç durumundan başlayıp bir bitiş (terminal) durumuna ulaşana kadar yaşadığı etkileşimlerin tamamıdır. Bir satranç maçı başından sonuna kadar bir bölümdür. Bir labirent görevinde, ajanın başlangıç noktasından çıkışa ulaşması ya da zaman sınırının dolması bir bölümü bitirir.

Bölüm bittiğinde ortam sıfırlanır ve ajan yeni bir bölüme baştan başlar. Ajanın öğrenmesi, bu bölümlerin binlerce, hatta milyonlarca kez tekrarlanmasıyla gerçekleşir.

Nasıl çalışır?

Bir bölüm şu yapıya sahiptir:

• Başlangıç: Ortam bir başlangıç durumuna getirilir. Bu durum her seferinde aynı olabilir ya da rastgele seçilebilir.
• Etkileşim adımları: Ajan gözlem yapar, eylem seçer, ödül alır ve yeni duruma geçer. Bu döngü tekrarlanır.
• Bitiş: Hedefe ulaşılması, başarısızlık (örneğin oyunda can kaybı) ya da maksimum adım sayısına ulaşılması bölümü sonlandırır.

Bölüm boyunca toplanan ödüllerin toplamına "getiri" (return) denir. Ajanın amacı, bölüm başına beklenen getiriyi en yükseğe çıkarmaktır. Eğitim ilerlemesi de genellikle bölüm başına ortalama getiri grafiğiyle izlenir.

Görevler bu açıdan ikiye ayrılır:

• Bölümlü görevler (episodic): Doğal bir sonu vardır. Oyunlar, labirentler, tek bir müşteri görüşmesi.
• Sürekli görevler (continuing): Doğal bir sonu yoktur. Bir veri merkezinin soğutma sisteminin sürekli kontrolü ya da borsa işlemleri. Bu görevlerde indirim katsayısı sonsuz ödül toplamını sınırlı tutmak için kritik hale gelir.

Monte Carlo yöntemleri gibi bazı algoritmalar öğrenmek için bölümün sonunu beklemek zorundadır, çünkü toplam getiriyi ancak o zaman bilir. Temporal difference yöntemleri ise her adımda öğrenebilir.

Neden önemli?

Bölüm kavramı, pekiştirmeli öğrenmede deneyimin nasıl yapılandırıldığını ve ilerlemenin nasıl ölçüldüğünü belirler. Bölüm uzunluğu da önemli bir tasarım kararıdır: Çok uzun bölümlerde ödül sinyali seyrekleşir ve hangi eylemin başarıya katkı yaptığını bulmak zorlaşır. Çok kısa bölümler ise ajanın uzun vadeli stratejiler öğrenmesini engelleyebilir.

Kullanım alanları

• Eğitim takibi: Bölüm başına ortalama ödül, pekiştirmeli öğrenme eğitiminin temel başarı grafiğidir.
• Oyun ajanları: Her maç ya da her seviye bir bölüm olarak ele alınır.
• Robotik: Bir nesneyi kavrama gibi görevlerin her denemesi bir bölümdür.
• Dil modeli ajanları: Bir görevin baştan sona tamamlanma denemesi bir bölüm olarak değerlendirilir.
• Değerlendirme: Ajan performansını çok sayıda bölüm üzerinden ortalama alarak ölçmek.