Dağıtık Eğitim (Distributed Training)

Dağıtık Eğitim nedir?

Dağıtık eğitim (distributed training), bir yapay zeka modelini tek bir GPU ya da tek makine yerine birçok cihaza yayarak eğitme yöntemi. Modern büyük modeller o kadar dev ki ne parametreleri ne de eğitim verisi tek bir kartın belleğine sığıyor; iş mecburen paylaştırılıyor.

Nasıl çalışır?

İki temel bölme mantığı var. Veri paralelliğinde (data parallelism) aynı modelin kopyası her GPU'da durur, her biri verinin farklı parçasıyla çalışır, sonra hesapladıkları gradient birleştirilir. Model paralelliğinde (model parallelism) ise model o kadar büyüktür ki tek karta sığmaz — bu yüzden katmanları ya da tensörleri farklı GPU'lara bölersin. Gerçek dünyada ikisi bir arada, üstüne pipeline paralelliği de eklenerek kullanılır. Kilit sorun kartlar arası iletişim: GPU'lar sürekli birbirine ara sonuç yollar, bu yüzden ağ hızı çoğu zaman ham hesap gücü kadar belirleyici olur.

Neden önemli?

Bugünkü büyük modellerin hiçbiri dağıtık eğitim olmadan var olamazdı. Milyarlarca parametreli bir modeli tek kartta eğitmek ya imkânsız ya da yıllar sürerdi. Dağıtık eğitim aynı işi haftalara indiriyor. Ama bedava değil: senkronizasyon, hata toleransı ve iletişim maliyeti işin en çetrefilli kısmı.

Kullanım alanları

Foundation modellerin sıfırdan eğitimi (pretraining), büyük modellerin fine-tuning işlemleri, dev veri kümeleriyle çalışan araştırma laboratuvarları ve bulut sağlayıcıların GPU kümeleri. Küçük bir modeli tek kartta eğitiyorsan buna ihtiyacın yok; ama ölçek büyüdüğü an dağıtık eğitim tercih değil zorunluluk oluyor.