Ön Eğitim (Pretraining)

Ön Eğitim (Pretraining) nedir?

Pretraining, bir yapay zeka modelinin uzmanlık alanına geçmeden önce büyük ve çeşitli veri kümeleri üzerinde eğitildiği temel aşamadır. LLM'ler için bu genellikle milyarlarca token'lık metin verisi anlamına gelir: kitaplar, makaleler, web siteleri, kod ve daha fazlası.

Bu aşamada model belirli bir görev için eğitilmez. Bunun yerine dilin nasıl çalıştığını, kavramların birbirleriyle ilişkisini ve dünya hakkında genel bilgileri öğrenir.

Nasıl çalışır?

Çoğu LLM pretraining'i "next-token prediction" görevi üzerinden yapar: modele bir metin verilir, bir sonraki token'ı tahmin etmesi istenir. Tahmin hatalıysa backpropagation ile ağırlıklar güncellenir.

Bu basit görevin üzerinde yürütülen milyonlarca iterasyon, modele şunları kazandırır:

• Dilbilgisi ve sözdizimi
• Gerçek dünya bilgisi
• Mantıksal çıkarım yetenekleri
• Kod yazma ve anlama

Compute (hesaplama gücü) ve veri miktarı bu aşamada son derece kritiktir. Pretraining için devasa GPU kümeleri ve aylarca süren eğitim zamanı gerekir.

Neden önemli?

Pretraining, modelin "genel zekasının" oluştuğu aşamadır. Fine-tuning, RLHF gibi sonraki aşamalar bu temelin üzerine inşa edilir.

İyi bir pretraining olmadan fine-tuning yüzeysel kalır — model görev formatını öğrenir ama gerçek anlama gelişmez. Aksine, kötü veriyle yapılan pretraining sonraki aşamalarda bile düzeltilemez hatalara yol açabilir.

Kullanım alanları

• Foundation model oluşturma: Açık kaynaklı ve kapalı kaynak LLM'lerin tamamı pretraining ile başlar
• Domain-specific pretraining: Tıp, hukuk veya kod verisiyle özelleştirilmiş temel modeller
• Transfer learning: Pretrained model ağırlıkları farklı görevler için başlangıç noktası olarak kullanılır
• Continual pretraining: Güncel veriyle modelin bilgisini periyodik olarak güncelleme