Bagaimana Anda merancang rate limiting?

Question

Accepted Answer

**Rate limiting** membatasi berapa banyak permintaan yang dapat dilakukan klien dalam jendela waktu — melindungi sistem dari penyalahgunaan, kelebihan beban, dan memastikan penggunaan yang adil. Ini adalah komponen desain sistem yang umum, dengan beberapa algoritma dan pertimbangan.

## Mengapa ini penting

```text
✓ PROTECT against abuse → prevent attacks (brute force, scraping, DoS), excessive use
✓ PREVENT OVERLOAD → protect the system from being overwhelmed (stability)
✓ FAIR USAGE → ensure no single client monopolizes resources; tiered limits (free vs paid)
✓ COST control; protect downstream services
→ a common requirement for APIs and services.
```

## Algoritma rate limiting

```text
FIXED WINDOW → count requests per fixed time window (e.g. 100/minute); simple
  ✗ allows bursts at window boundaries (up to 2x at the edges)
SLIDING WINDOW → rolling time window → smoother, no boundary bursts (more accurate)
TOKEN BUCKET → tokens refill at a rate; each request takes a token → allows BURSTS up to
  the bucket size while limiting the average rate (popular, flexible)
LEAKY BUCKET → requests processed at a steady rate (smooths output)
```

## Pertimbangan implementasi

```text
✓ DISTRIBUTED → limits must be shared across servers → use a centralized store (REDIS is
  common: atomic counters, fast, shared across instances)
✓ Identify the client → by API key, user ID, IP
✓ Return clear responses → HTTP 429 (Too Many Requests); include limit/retry-after headers
✓ Where → at the API gateway, load balancer, or application layer
✓ Granularity → per user, per endpoint, global; different tiers/limits
```

## Mengapa penting

Memahami cara merancang rate limiting sangat berharga karena merupakan **komponen desain sistem yang umum** untuk melindungi sistem dan memastikan penggunaan yang adil, sehingga ini adalah pengetahuan praktis yang penting.

Rate limiting — membatasi berapa banyak permintaan yang dapat dilakukan klien dalam jendela waktu — mengatasi kebutuhan penting: **melindungi dari penyalahgunaan** (mencegah serangan seperti brute force, scraping, dan DoS), **mencegah kelebihan beban** (melindungi stabilitas sistem), memastikan **penggunaan yang adil** (tidak ada klien yang memonopoli sumber daya, mendukung batas berjenjang seperti gratis vs berbayar), dan kontrol biaya.

Ini membuat rate limiting menjadi persyaratan umum untuk API dan layanan.

Memahami **algoritma** dan trade-off mereka — **fixed window** (sederhana tetapi memungkinkan lonjakan batas), **sliding window** (lebih halus dan akurat), **token bucket** (memungkinkan lonjakan terkontrol sambil membatasi laju rata-rata — populer dan fleksibel), dan leaky bucket (memuluskan keluaran) — adalah pengetahuan desain kunci, karena memilih algoritma yang tepat mempengaruhi perilaku.

Memahami **pertimbangan implementasi** sangat penting: menangani **rate limiting terdistribusi** (batas bersama di beberapa server, biasanya menggunakan **Redis** untuk penghitung atom cepat yang dibagikan di seluruh instance — karena batas per-server tidak berfungsi di sistem terdistribusi), mengidentifikasi klien (menurut kunci API, pengguna, atau IP), mengembalikan respons yang jelas (HTTP 429 dengan header retry-after), memilih tempat menerapkannya (gateway, load balancer, atau aplikasi), dan granularitas (per pengguna, per endpoint, berjenjang).

Ini mencerminkan merancang rate limiting yang bekerja di sistem terdistribusi nyata.

Rate limiting adalah komponen yang sering dibutuhkan, sering muncul dalam diskusi desain sistem dan wawancara.

Karena rate limiting adalah komponen umum dan penting untuk melindungi sistem (dari penyalahgunaan dan kelebihan beban) dan memastikan penggunaan yang adil, dan karena memahami algoritma, trade-off mereka, dan terutama implementasi terdistribusi (batas bersama melalui Redis) penting untuk merancangnya dengan baik, memahami cara merancang rate limiting adalah pengetahuan desain sistem yang berharga dan relevan secara praktis — komponen umum untuk melindungi layanan dan memastikan penggunaan yang adil, memerlukan pemahaman tentang algoritma dan implementasi terdistribusi, dan topik yang sering dibahas dalam desain sistem untuk membangun sistem yang kuat dan terlindungi.