Işın Arama (Beam Search)

Beam Search nedir?

Beam search, dil modellerinin metin üretiminde kullandığı bir çözme (decoding) algoritmasıdır. Model her adımda tek en iyi tokeni seçmek yerine (greedy decoding), belirlenen sayıda ("beam width") en iyi adayı paralel olarak takip eder.

Nasıl çalışır?

Beam width = 3 olduğunu varsayalım. İlk adımda model en olası 3 tokeni seçer. İkinci adımda bu 3 adayın her biri için bir sonraki olası tokenler hesaplanır — toplamda 9 aday ortaya çıkar. Bunların arasından yine en iyi 3 tutulur, diğerleri elenir. Bu işlem dizi tamamlanana kadar sürer.

Sonunda en yüksek kümülatif log-olasılığına sahip dizi seçilir.

Neden önemli?

Greedy decoding tek seferlik en iyi seçimi yapar; bu genellikle global optimumu kaçırır. Tam arama (exhaustive search) ise kombinasyonel patlama yaratır — her adımda on binlerce token varken tüm yolları denemek hesaplanamazdır.

Beam search bu iki uç arasında pratik bir denge kurar: küçük bir "ışın" (beam) tutarak yerel optimumlardan kaçma şansını artırır, aynı zamanda hesaplama maliyetini kontrol altında tutar.

Kullanım alanları

• Makine çevirisi: Beam search burada doğdu ve hâlâ standart yaklaşımdır. Bir cümlenin çevirisinde alternatif yolları değerlendirmek tutarlı çıktı sağlar.
• Metin özetleme: Özellikle extractive ve abstractive özetlemede kullanılır.
• Konuşma sentezi (TTS): Ses tokenlerini sıralamada greedy'ye göre daha doğal sonuç verir.
• Kod üretimi: Yapısal tutarlılık gerektiren görevlerde tercih edilir.

Modern LLM'lerde ise durum biraz farklı. ChatGPT, Claude gibi sistemler çoğunlukla sampling tabanlı decoding kullanır (temperature + top-p gibi) çünkü beam search tekrarlayan ve "steril" görünen çıktılar üretebilir. Ancak determinizm gerektiren görevlerde (çeviri, OCR gibi) beam search hâlâ geçerli seçimdir.