什么是缓存雪崩,你如何防止它?

Question

什么是缓存雪崩,你如何防止它?

Accepted Answer

**缓存雪崩**(或 dogpile)发生在一个热点缓存键过期时,**许多并发请求同时未命中它**,都直接回源重新计算同一个值。源(数据库或服务)会被突然的流量冲击,有时甚至导致整个系统宕机。

## 原因

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

触发器是热点键的**同时过期**。解决方案是确保只有一个(或少数)重新计算发生,或者请求不会在同一时刻全部过期。

## 防止方案

- **加锁 / 单飞(single-flight)** — 第一个未命中的请求获取锁并重新计算;其他并发请求等待该结果,而不是全部回源。
- **过期返回陈旧值**(Stale-while-revalidate) — 立即返回略显陈旧的值,同时由一个后台任务刷新它。没有请求阻塞在源。
- **提前 / 概率性重新计算** — 在键过期*之前*刷新它,使用一个随着过期时间临近而增加的概率,这样幸运的请求能在雪崩之前重建它。
- **抖动 TTL** — 为 TTL 添加随机性,使得键不会在同一时刻全部过期。
- **请求合并** — 将相同的并发请求合并为一次源调用。

## 单飞伪代码

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

锁确保恰好一次源调用;所有其他并发请求都等待,然后读取新鲜缓存的值。

## 为什么这很重要

雪崩将常规的缓存过期转变为故障:那个保护数据库的缓存突然停止工作,整个流量同时打到源。了解原因(热点键的同时过期)和解决方案(单飞、过期返回陈旧值、抖动)对于在真实负载下保持缓存的可靠性至关重要。