Skip-gram

Skip-gram nedir?

Skip-gram, kelimelerin anlamını sayısal vektörler (embedding) olarak öğrenmek için kullanılan bir sinir ağı yöntemidir. 2013'te tanıtılan word2vec ailesinin iki temel mimarisinden biridir; diğeri CBOW'dur (continuous bag of words).

Temel fikri şudur: Bir kelimenin anlamı, çevresinde hangi kelimelerin geçtiğiyle ortaya çıkar. Dilbilimdeki "bir kelimeyi yanında bulunduğu kelimelerden tanırsın" sezgisine dayanır. Skip-gram, bir kelimeye bakıp onun etrafında hangi kelimelerin geçeceğini tahmin etmeye çalışır. Bu tahmin görevini çözmeye çalışırken, anlamca yakın kelimeler için birbirine yakın vektörler öğrenir.

Nasıl çalışır?

Eğitim, büyük bir metin derlemi üzerinde yapılır:

• Kayan pencere: Metin üzerinde bir pencere gezdirilir. Penceredeki ortadaki kelime "hedef kelime", sağındaki ve solundaki birkaç kelime "bağlam kelimeleri" olur. Örneğin "kedi halının üstünde uyuyor" cümlesinde hedef kelime "halının" ise, bağlam kelimeleri "kedi", "üstünde" ve "uyuyor" olabilir.
• Tahmin görevi: Model, hedef kelimeyi alıp her bir bağlam kelimesinin gelme olasılığını tahmin eder.
• Öğrenme: Tahmin hatalarına göre ağırlıklar güncellenir. Eğitim bittiğinde, modelin giriş katmanındaki ağırlıklar kelime embedding'leri olarak kullanılır.

Kelime dağarcığı çok büyük olduğunda her adımda tüm kelimeler için olasılık hesaplamak çok pahalıdır. Bu yüzden "negative sampling" adı verilen bir teknik kullanılır: Model, gerçek bağlam kelimelerini rastgele seçilmiş birkaç "yanlış" kelimeden ayırt etmeyi öğrenir. Bu, eğitimi büyük ölçüde hızlandırır.

CBOW ile farkı yöndedir: CBOW bağlam kelimelerinden ortadaki kelimeyi tahmin eder; skip-gram ise ortadaki kelimeden bağlamı tahmin eder. Skip-gram genellikle nadir kelimelerde daha iyi temsiller öğrenir, CBOW ise daha hızlı eğitilir.

Neden önemli?

Skip-gram ile öğrenilen embedding'ler, kelimeler arasındaki anlamsal ilişkileri şaşırtıcı biçimde yakalıyordu. En ünlü örnek, vektör aritmetiğiydi: "kral" vektöründen "erkek" çıkarılıp "kadın" eklendiğinde sonuç "kraliçe" vektörüne yakın çıkıyordu. Bu, kelimelerin anlamının sayısal bir uzayda temsil edilebileceğinin güçlü bir göstergesiydi.

Bugünkü dil modelleri bağlama duyarlı embedding'ler kullanıyor; aynı kelime farklı cümlelerde farklı vektörlere sahip olabiliyor. Skip-gram'ın ürettiği embedding'ler ise statiktir. Yine de kendi kendini denetleyen öğrenme (self-supervised learning) fikrinin ve modern embedding yaklaşımlarının önemli bir öncüsüdür.

Kullanım alanları

• Kelime embedding'leri: Metin sınıflandırma ve kümeleme için hafif, hızlı temsiller.
• Öneri sistemleri: Kullanıcı oturumlarındaki ürün dizilerine uygulanarak ürün embedding'leri öğrenmek.
• Graf embedding'leri: Graflarda rastgele yürüyüşlerle üretilen düğüm dizilerine uygulamak.
• Kaynak kısıtlı ortamlar: Büyük modellerin çalıştırılamadığı cihazlarda anlamsal benzerlik hesaplamak.
• Eğitim: Embedding kavramını öğretmek için sezgisel bir başlangıç noktası.