你如何设计速率限制？

Question

你如何设计速率限制？

Accepted Answer

**速率限制**限制了客户端在时间窗口内可以发出多少请求——保护系统免受滥用和过载，并确保公平使用。这是一个常见的系统设计组件，有多种算法和考虑因素。

## 速率限制的原因

```text
✓ PROTECT against abuse → prevent attacks (brute force, scraping, DoS), excessive use
✓ PREVENT OVERLOAD → protect the system from being overwhelmed (stability)
✓ FAIR USAGE → ensure no single client monopolizes resources; tiered limits (free vs paid)
✓ COST control; protect downstream services
→ a common requirement for APIs and services.
```

## 速率限制算法

```text
FIXED WINDOW → count requests per fixed time window (e.g. 100/minute); simple
  ✗ allows bursts at window boundaries (up to 2x at the edges)
SLIDING WINDOW → rolling time window → smoother, no boundary bursts (more accurate)
TOKEN BUCKET → tokens refill at a rate; each request takes a token → allows BURSTS up to
  the bucket size while limiting the average rate (popular, flexible)
LEAKY BUCKET → requests processed at a steady rate (smooths output)
```

## 实现考虑因素

```text
✓ DISTRIBUTED → limits must be shared across servers → use a centralized store (REDIS is
  common: atomic counters, fast, shared across instances)
✓ Identify the client → by API key, user ID, IP
✓ Return clear responses → HTTP 429 (Too Many Requests); include limit/retry-after headers
✓ Where → at the API gateway, load balancer, or application layer
✓ Granularity → per user, per endpoint, global; different tiers/limits
```

## 为什么这很重要

理解如何设计速率限制是有价值的，因为它是保护系统和确保公平使用的**常见系统设计组件**，所以这是重要的实用知识。

速率限制——限制客户端在时间窗口内可以发出多少请求——解决了重要的需求：**防止滥用**（防止暴力破解、爬虫和 DoS 等攻击）、**防止过载**（保护系统稳定性）、确保**公平使用**（没有客户端垄断资源，支持分级限制如免费 vs 付费）和成本控制。

这些使速率限制成为 API 和服务的常见需求。

理解**算法**及其权衡——**固定窗口**（简单但允许边界突发）、**滑动窗口**（更平滑更准确）、**令牌桶**（允许控制的突发同时限制平均速率——流行且灵活）和漏桶（平滑输出）——是关键的设计知识，因为选择正确的算法会影响行为。

理解**实现考虑因素**特别重要：处理**分布式速率限制**（限制在多个服务器间共享，通常使用 **Redis** 获得在实例间共享的快速原子计数器——因为每个服务器的限制在分布式系统中不起作用）、识别客户端（通过 API 密钥、用户或 IP）、返回清晰的响应（HTTP 429 和 retry-after 头）、选择应用位置（网关、负载均衡器或应用程序）和粒度（每个用户、每个端点、分级）。

这些反映了设计在真实分布式系统中有效的速率限制。

速率限制是一个经常需要的组件，经常出现在系统设计讨论和面试中。

由于速率限制是保护系统（免受滥用和过载）和确保公平使用的常见重要组件，以及由于理解算法、它们的权衡以及特别是分布式实现（通过 Redis 的共享限制）对于良好地设计它很重要，理解如何设计速率限制是有价值的、实用的系统设计知识——这是保护服务和确保公平使用的常见组件，需要理解算法和分布式实现，以及在系统设计中经常讨论的话题，用于构建强大的、受保护的系统。