Maskeli Dil Modelleme (Masked Language Modeling)

Maskeli dil modelleme nedir?

Maskeli dil modelleme, bir cümledeki kelimelerin bir kısmını gizleyip (maskeleyip) modele o boşlukları tahmin ettirerek dili öğreten bir eğitim yöntemi. Örneğin "kahvaltıda [MASK] içtim" cümlesinde model, boşluğa "çay" ya da "kahve" gelmesi gerektiğini bağlamdan çıkarmayı öğrenir. Bu yaklaşım, BERT ailesi modellerin pretraining temelini oluşturdu.

Nasıl çalışır?

Eğitim sırasında metindeki tokenlerin genelde %15 kadarı rastgele seçilip maskelenir. Model, cümlenin hem solundaki hem sağındaki bağlama aynı anda bakarak maskelenen kelimenin ne olduğunu tahmin eder — buna çift yönlü (bidirectional) bağlam denir. Tahmin ile gerçek kelime arasındaki fark bir loss function ile ölçülür ve backpropagation ile ağırlıklar güncellenir. Milyarlarca cümle üzerinde bu döngü tekrarlandıkça model dilin dilbilgisini, anlam ilişkilerini ve dünya bilgisini içselleştirir. Bu, insan etiketi gerektirmediği için self-supervised learning örneğidir.

Neden önemli?

Maskeli dil modelleme, metnin her iki yönünü de aynı anda görebilme yeteneği kazandırdığı için sınıflandırma, arama ve anlama işlerinde güçlü temsiller üretir. Soldan sağa tek yönlü çalışan autoregressive modellerin aksine, bir kelimeyi anlarken hem öncesine hem sonrasına bakabilmek metni derinlemesine kavramayı kolaylaştırır. Bu yüzden semantic search, duygu analizi ve named entity recognition gibi işlerde uzun süre standart oldu.

Kullanım alanları

Arama motorlarının sorguları anlaması, metin sınıflandırma, cümle benzerliği, embedding üretimi ve pek çok NLP görevinin altyapısında maskeli dil modelleme ile eğitilmiş modeller yatar. Türkçe gibi eklemeli dillerde de bağlamdan kelime tahmini, dilin yapısını yakalamada güçlü bir sinyal sağlar.