Gizli Durum (Hidden State)

Gizli durum nedir?

Gizli durum, bir sinir ağının işlemin ortasında tuttuğu iç temsildir; girdiyi henüz nihai çıktıya dönüşmemiş, sayılardan oluşan bir vektör olarak özetler. "Gizli" denmesinin sebebi doğrudan gözlemlenen bir girdi ya da çıktı olmaması, ağın içinde akan bir ara değer olması. Model dünyayı bu vektörler üzerinden "düşünür".

Nasıl çalışır?

Recurrent neural network gibi dizisel modellerde gizli durum, adım adım güncellenen bir hafıza gibi çalışır: her yeni kelimede önceki gizli durum ile yeni girdi birleşir ve güncel bir gizli durum üretilir. Böylece model cümlenin başındaki bilgiyi sonuna kadar taşıyabilir. Transformer mimarilerinde ise her katman, her token için bir gizli durum vektörü üretir; bu vektörler katmandan katmana geçtikçe giderek daha soyut ve anlamlı temsillere dönüşür. En son katmanın gizli durumu, bir sonraki kelimeyi tahmin etmek ya da bir embedding üretmek için kullanılır.

Neden önemli?

Gizli durum, bir modelin girdiyi nasıl kodladığını ve neyi önemsediğini taşıyan yapıdır. Modelin latent space içinde nerede durduğunu, anlamları nasıl ilişkilendirdiğini bu vektörler belirler. Bir cümlenin embedding gösterimi çıkarılırken, bir metin sınıflandırılırken ya da iki metin karşılaştırılırken hep gizli durumlardan yararlanılır. Kısacası modelin "anladığı" şey, bu ara temsillerde saklıdır.

Kullanım alanları

Semantic search, metin benzerliği, sınıflandırma ve embedding tabanlı her işte gizli durumlar devreye girer. Araştırmacılar modelin ne öğrendiğini anlamak için de bu ara temsilleri inceler; hangi katmanın dilbilgisini, hangisinin anlamı yakaladığını buradan okurlar. Bir modelin iç dünyasına bakmak istiyorsan, bakılacak yer gizli durumlardır.