Kök İndirgeme (Lemmatization)

Lemmatization nedir?

Lemmatization, bir kelimeyi sözlükte yer alan gerçek temel biçimine — yani lemmasına — indirme işidir. "gördü", "görüyor", "görecek" hepsi "görmek" lemmasına iner. Stemming'den farkı: kaba kesme yapmaz, kelimenin türünü (isim mi fiil mi) ve dil bilgisi yapısını dikkate alarak doğru temel biçimi bulur. Sonuç her zaman geçerli, sözlükte olan bir kelimedir.

Örneğin "better" kelimesini stemmer değiştirmezken bir lemmatizer onun "good"un karşılaştırma hali olduğunu bilip "good"a indirebilir. Çünkü lemmatization bir sözlük ve morfolojik analize dayanır.

Nasıl çalışır?

Bir lemmatizer önce kelimenin cümledeki görevini (part-of-speech: isim, fiil, sıfat) belirler, sonra o türe uygun sözlükten temel biçimi çeker. "saw" kelimesi fiilse "see"ye, isimse "saw" (testere) olarak kalır — yani bağlama bakar. Bu yüzden stemming'den yavaş ama daha isabetlidir. Arka planda WordNet gibi sözlükler veya dile özel morfoloji kuralları kullanılır.

Türkçe gibi zengin ekli dillerde lemmatization ciddi bir morfolojik çözümleme gerektirir; "evlerimizden" kelimesini "ev" köküne indirmek için ekleri doğru ayrıştırmak şart.

Neden önemli?

Aynı kavramın farklı çekimlerini tek biçimde toplamak, arama ve metin analizinde eşleşmeyi artırır. Lemmatization bunu anlam bozmadan yaptığı için, sonucun okunabilir ve doğru olması gereken uygulamalarda stemming'e tercih edilir. Sözlük tabanlı çalışması, "gördü → görmek" gibi düzensiz çekimleri bile doğru yakalamasını sağlar.

Kullanım alanları

Arama motorları, chatbot niyet analizi, duygu analizi, bilgi çıkarımı ve klasik NLP pipeline'larında ön işleme adımı olarak kullanılır. Modern büyük dil modelleri kendi subword tokenization'ını kullandığı için lemmatization'a daha az ihtiyaç duyar, ama hafif ve şeffaf metin işleme sistemlerinde değerini korur.