BERT (Bidirectional Encoder Representations from Transformers)

BERT nedir?

BERT, Transformer mimarisinin sadece encoder •girdiyi anlamlandıran katman• kısmını kullanan bir dil modeli. Adı "Bidirectional Encoder Representations from Transformers" ifadesinin kısaltması ve o "bidirectional" kelimesi işin özünü anlatıyor: model bir kelimeyi anlamlandırırken hem solundaki hem sağındaki bütün kelimelere aynı anda bakıyor.

Bu, göründüğünden büyük bir fark. Ondan önceki dil modelleri metni tek yönde okuyordu — soldan sağa, bir sonraki kelimeyi tahmin ederek. O yaklaşımda "kredi" kelimesini işlerken cümlenin devamındaki "kartı" veya "notu" bilgisi henüz yok; anlam belirsiz kalıyor. BERT iki yönü birden gördüğü için bağlamı daha eksiksiz kuruyor.

BERT'ün asıl kalıcı katkısı ise bir eğitim düzeni oldu: önce devasa metin yığınlarıyla genel dil anlayışı kazandır, sonra küçük bir veriyle belirli göreve uyarla. Bugün rutin sayılan bu ikili yapı — pre-training ve fine-tuning — yaygınlaşmasını büyük ölçüde BERT'e borçlu.

Nasıl çalışır?

Eğitim iki görev üzerinden yürüyor.

Maskeli dil modelleme (masked language modeling). Metindeki kelimelerin yaklaşık %15'i rastgele gizleniyor ve modelden bunları tahmin etmesi isteniyor. "Sabah kalkınca [MASK] içtim" cümlesinde boşluğu doldurmak için modelin hem öncesine hem sonrasına bakması gerekiyor. Milyarlarca cümlede bu oyunu oynaya oynaya dilin yapısını çıkarıyor.

Sonraki cümle tahmini (next sentence prediction). Modele iki cümle veriliyor ve ikincisinin gerçekten birinciyi takip edip etmediği soruluyor. Bu, cümleler arası ilişkiyi öğrenmesini sağlıyor — soru-cevap gibi görevlerde işe yarayan bir yetenek.

Eğitim etiketli veri istemiyor; maskeyi metnin kendisi sağlıyor. Bu yüzden yöntem self-supervised •veriyi kendi kendine etiketleyen• sayılıyor ve internetteki ham metin doğrudan yakıt olarak kullanılabiliyor.

Eğitim bittiğinde elde kaliteli metin temsilleri üreten bir gövde kalıyor. Üstüne küçük bir katman ekleyip birkaç bin örnekle eğitiyorsun; duygu analizi, varlık tanıma veya soru-cevap yapan bir model çıkıyor.

Neden önemli?

BERT bir dönemin çıtasını belirledi ve alandaki iş bölümünü netleştirdi: bugünkü modellerin çoğu ya BERT gibi encoder-only (anlama işleri için), ya decoder-only (üretim işleri için), ya da ikisini birleştiren yapıda.

Sohbet eden modeller popülerleşince BERT gündemden düştü ama üretimden düşmedi. Metin üretmesi gerekmeyen işlerde — sınıflandırma, arama, benzerlik ölçümü — küçük ve hızlı olması hâlâ ciddi avantaj. Bir arama sisteminde her sorguya dev bir üretken model çalıştırmak yerine BERT ailesinden küçük bir model kullanmak hem çok daha ucuz hem çok daha hızlı.

Ayrıca bugün her yerde kullanılan embedding •metni sayı dizisine çeviren temsil• üreten modellerin büyük bölümü bu mimarinin torunları. Bir RAG sistemi kurduğunda arka planda büyük ihtimalle bu soydan bir model çalışıyor.

Kullanım alanları

• Arama ve sıralama: Sorgu ile belge arasındaki anlamsal yakınlığı ölçmek. Anahtar kelime eşleşmesinin ötesine geçen aramanın temeli.
• Metin sınıflandırma: Duygu analizi, konu etiketleme, spam ayıklama, içerik moderasyonu.
• Varlık tanıma: Metindeki kişi, kurum, yer ve tarih bilgilerini çıkarmak — belge işleme sistemlerinin standart adımı.
• Soru-cevap: Verilen bir metin parçasında cevabın hangi aralıkta geçtiğini bulmak.
• Embedding üretimi: Vektör veritabanına yazılacak metin temsillerini çıkarmak.

Türkçe için de bu mimariden eğitilmiş modeller mevcut; Türkçe'nin eklemeli yapısı nedeniyle tokenizasyon tarafı İngilizce'ye kıyasla daha çok dikkat istiyor.