İstek Sınırı (Rate Limit)

İstek Sınırı (Rate Limit) nedir?

Rate limit, bir API servisinin belirli bir zaman diliminde kabul ettiği maksimum istek sayısıdır. Bir restoranın aynı anda kaç masaya hizmet verebileceği gibi düşünebilirsiniz — kapasite dolunca yeni müşteriler beklemeye alınır.

AI API'lerinde rate limit genellikle şu biçimlerde tanımlanır:

• RPM (Requests Per Minute): Dakikada maksimum istek sayısı
• TPM (Tokens Per Minute): Dakikada işlenebilecek maksimum token sayısı
• RPD (Requests Per Day): Günlük maksimum istek sayısı

Neden var?

Rate limit hem kullanıcıları hem de servisi korur:

• Sunucuların aşırı yüklenmesini önler
• Bir kullanıcının tüm kapasiteyi tekeline almasını engeller
• Kötü niyetli toplu isteklere (abuse) karşı koruma sağlar
• Ücretsiz plan kullanıcıları için maliyet sınırı oluşturur

"Too many requests" hatası alırsanız

1. Birkaç saniye bekleyin ve tekrar deneyin
2. İstekleri yavaşlatın (rate limiting logic ekleyin)
3. Üst plana geçin — ücretli planlarda limitler çok daha yüksektir
4. Birden fazla API key kullanıyorsanız yükü dağıtın

Uygulama geliştiriyorsanız istekler arasına otomatik bekleme (exponential backoff) eklemek iyi bir pratiktir: hata aldığında 1s bekle, tekrar hata alırsan 2s, sonra 4s gibi.

Kullanım alanları

• API entegrasyonu yaparken limit planlaması
• Toplu içerik üretimi pipeline'larında hız ayarı
• Ücretsiz vs ücretli plan kararı verirken