FLOP / FLOPS

FLOP ve FLOPS nedir?

FLOP, "floating point operation" yani tek bir kayan nokta işlemi (bir toplama ya da çarpma) demektir. Bir modeli eğitmek ya da çalıştırmak için gereken toplam işlem sayısını ifade eder ve genelde çok büyük olduğu için katrilyonlarla, katrilyonlarca katıyla anılır.

FLOPS ise sonundaki "S" ile "per second", yani saniyede kaç işlem yapılabildiğidir. Bu bir hızdır ve daha çok donanımın (GPU, TPU) gücünü tarif eder. Kısa kural: FLOP bir iş miktarıdır, FLOPS ise o işi yapma hızıdır.

Nasıl çalışır?

Bir modelin eğitim maliyeti kabaca "parametre sayısı × işlenen token sayısı" ile orantılı FLOP olarak hesaplanır. Örneğin büyük bir modelin eğitimi 10 üzeri 24 ve üstü FLOP gerektirebilir. Donanım tarafında ise bir GPU'nun kaç FLOPS ürettiği, bu işi ne kadar sürede bitireceğini belirler: yüksek FLOPS'lu bir kart aynı eğitimi daha kısa sürede tamamlar.

Gerçek hızda bellek bant genişliği, veri akışı ve verimlilik de rol oynar; bu yüzden teorik FLOPS ile pratikte ulaşılan hız çoğu zaman aynı olmaz.

Neden önemli?

FLOP, modelleri kıyaslamanın parametre sayısından daha adil bir yoludur; çünkü hem modelin boyutunu hem de ne kadar veriyle eğitildiğini birlikte yansıtır. Scaling laws araştırmaları da performansı büyük ölçüde harcanan FLOP üzerinden ilişkilendirir. Ayrıca yapay zeka düzenlemelerinde bir modelin "büyük" sayılıp sayılmayacağı bazen belli bir FLOP eşiğine bağlanır.

Kullanım alanları

Model eğitim maliyetini tahmin etmek, farklı modellerin harcadığı hesabı kıyaslamak, donanım seçimi yapmak ve bir eğitim işinin ne kadar süreceğini planlamak — hepsi FLOP ve FLOPS üzerinden konuşulur.