Bagaimana anda mereka bentuk rate limiting?

Question

Accepted Answer

**Rate limiting** menghadkan berapa banyak permintaan yang boleh dibuat oleh klien dalam suatu tetingkap masa — melindungi sistem daripada penyalahgunaan, beban berlebihan, dan memastikan penggunaan yang adil. Ia merupakan komponen system design yang lazim, dengan beberapa algoritma dan pertimbangan.

## Mengapa rate limiting

```text
✓ PROTECT against abuse → prevent attacks (brute force, scraping, DoS), excessive use
✓ PREVENT OVERLOAD → protect the system from being overwhelmed (stability)
✓ FAIR USAGE → ensure no single client monopolizes resources; tiered limits (free vs paid)
✓ COST control; protect downstream services
→ a common requirement for APIs and services.
```

## Algoritma rate limiting

```text
FIXED WINDOW → count requests per fixed time window (e.g. 100/minute); simple
  ✗ allows bursts at window boundaries (up to 2x at the edges)
SLIDING WINDOW → rolling time window → smoother, no boundary bursts (more accurate)
TOKEN BUCKET → tokens refill at a rate; each request takes a token → allows BURSTS up to
  the bucket size while limiting the average rate (popular, flexible)
LEAKY BUCKET → requests processed at a steady rate (smooths output)
```

## Pertimbangan pelaksanaan

```text
✓ DISTRIBUTED → limits must be shared across servers → use a centralized store (REDIS is
  common: atomic counters, fast, shared across instances)
✓ Identify the client → by API key, user ID, IP
✓ Return clear responses → HTTP 429 (Too Many Requests); include limit/retry-after headers
✓ Where → at the API gateway, load balancer, or application layer
✓ Granularity → per user, per endpoint, global; different tiers/limits
```

## Mengapa ia penting

Memahami cara mereka bentuk rate limiting bernilai kerana ia merupakan **komponen system design yang lazim** untuk melindungi sistem dan memastikan penggunaan yang adil, jadi ia merupakan pengetahuan praktikal yang penting.

Rate limiting — menghadkan berapa banyak permintaan yang boleh dibuat oleh klien dalam suatu tetingkap masa — menangani keperluan penting: **melindungi daripada penyalahgunaan** (mencegah serangan seperti brute force, scraping, dan DoS), **mencegah beban berlebihan** (melindungi kestabilan sistem), memastikan **penggunaan yang adil** (tiada klien memonopoli sumber, menyokong had bertingkat seperti percuma berbanding berbayar), dan kawalan kos.

Ini menjadikan rate limiting keperluan lazim untuk API dan perkhidmatan.

Memahami **algoritma** dan pertukaran (trade-off) mereka — **fixed window** (ringkas tetapi membenarkan ledakan di sempadan), **sliding window** (lebih licin dan lebih tepat), **token bucket** (membenarkan ledakan terkawal sambil menghadkan kadar purata — popular dan fleksibel), dan leaky bucket (melicinkan output) — merupakan pengetahuan reka bentuk utama, kerana memilih algoritma yang betul mempengaruhi tingkah laku.

Memahami **pertimbangan pelaksanaan** amat penting: mengendalikan **distributed rate limiting** (had dikongsi merentasi pelbagai pelayan, lazimnya menggunakan **Redis** untuk atomic counter pantas yang dikongsi merentasi instance — kerana had per-pelayan tidak berfungsi dalam sistem teragih), mengenal pasti klien (mengikut API key, pengguna, atau IP), mengembalikan respons yang jelas (HTTP 429 dengan retry-after header), memilih di mana untuk memohonkannya (gateway, load balancer, atau aplikasi), dan granulariti (per pengguna, per endpoint, bertingkat).

Ini mencerminkan reka bentuk rate limiting yang berfungsi dalam sistem teragih sebenar.

Rate limiting merupakan komponen yang kerap diperlukan, sering muncul dalam perbincangan system design dan temu duga.

Memandangkan rate limiting merupakan komponen yang lazim dan penting untuk melindungi sistem (daripada penyalahgunaan dan beban berlebihan) dan memastikan penggunaan yang adil, dan memandangkan memahami algoritma, pertukaran mereka, dan terutamanya pelaksanaan teragih (had dikongsi melalui Redis) adalah penting untuk mereka bentuknya dengan baik, memahami cara mereka bentuk rate limiting merupakan pengetahuan system design yang bernilai dan relevan secara praktikal — komponen yang lazim untuk melindungi perkhidmatan dan memastikan penggunaan yang adil, memerlukan pemahaman tentang algoritma dan pelaksanaan teragih, dan topik yang kerap dibincangkan dalam system design untuk membina sistem yang kukuh dan terlindung.