Что такое cache stampede и как его предотвратить?

Question

Accepted Answer

**Cache stampede** (или dogpile) происходит, когда горячий ключ в кеше истекает и **множество одновременных запросов одновременно его не находят**, все падают к источнику для одновременного пересчёта одного и того же значения. Источник (БД или сервис) получает всплеск, который не может обработать, иногда приводя систему к отказу.

## Причина

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Триггер — **одновременное истечение** популярного ключа. Решение — убедиться, что только один (или несколько) пересчёт происходит, или что запросы не все истекают вместе.

## Решения

- **Блокировка / single-flight** — первый промах захватывает блокировку и пересчитывает; все остальные ждут этого одного результата вместо того, чтобы все обращаться к источнику.
- **Stale-while-revalidate** — сразу выдать немного устаревшее значение, пока одна фоновая задача его обновляет. Ни один запрос не блокируется на источнике.
- **Ранний / вероятностный пересчёт** — обновить ключ *до* его истечения с вероятностью, которая растёт по мере приближения истечения, так что один везучий запрос перестроит его до stampede.
- **Jittered TTLs** — добавить случайность в TTLs, чтобы ключи не все истекали в один момент.
- **Request coalescing** — объединить идентичные одновременные запросы в один вызов источника.

## Псевдокод single-flight

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Блокировка гарантирует ровно один вызов источника; каждый другой одновременный запрос ждёт, а затем читает свежее закешированное значение.

## Почему это важно

Stampede превращает обычное истечение кеша в отказ в обслуживании: кеш, который защищал вашу БД, вдруг перестаёт работать, и весь трафик падает на источник сразу. Знание причины (одновременное истечение горячих ключей) и решений (single-flight, stale-while-revalidate, jitter) необходимо для надёжности кеша под реальной нагрузкой.