Dönel Konum Gömme (RoPE)

RoPE nedir?

Transformer bir cümledeki kelimeleri aynı anda görür; kendiliğinden sıra bilgisi yoktur. "Kedi köpeği kovaladı" ile "Köpek kediyi kovaladı" arasındaki farkı anlaması için konum bilgisinin modele ayrıca verilmesi gerekir. İşte konum kodlaması bunu yapar.

RoPE (Rotary Position Embedding, dönel konum gömme), her token'ın vektörünü bulunduğu konuma bağlı bir açıyla döndürerek konum bilgisini ekler. Su ve arkadaşlarının 2021 tarihli RoFormer makalesinde önerildi ve bugün açık kaynak büyük dil modellerinin çoğunda standart hale geldi.

Nasıl çalışır?

RoPE, token vektörüne bir rotasyon matrisi uygular: konum ne kadar ileriyse dönme açısı o kadar büyük olur. Bu döndürme sayesinde mutlak konum kodlanırken, self-attention hesabı içinde iki token arasındaki göreli konum da doğal olarak ortaya çıkar. Yani model "bu iki kelime birbirinden kaç adım uzakta" bilgisini formülün içinden alır.

Yöntemin getirdiği güzel özellikler var: sekans uzunluğu esnektir, token'lar arası bağ uzaklık arttıkça yumuşakça zayıflar ve doğrusal (linear) attention ile bile göreli konum kodlaması yapılabilir.

Neden önemli?

Konum kodlaması bir modelin dili doğru anlamasının temel şartı. RoPE, göreli konumu doğal biçimde taşıdığı için uzun bağlama (context) ölçeklenmeyi kolaylaştırır. Bu, uzun metinlerle çalışan modellerin neden bu yöntemi tercih ettiğini açıklıyor — daha uzun dizilere uzatmak görece kolay.

Kullanım alanları

Uzun context penceresine sahip dil modelleri, göreli konumun önemli olduğu her transformer mimarisi ve hatta ses ayrıştırma gibi alanlardaki transformer türevleri RoPE kullanır. Modern LLM'lerin uzun metinleri tutarlı işleyebilmesinin arkasındaki sessiz kahramanlardan biridir.