Co to jest cache stampede i jak go zapobiec?

Question

Accepted Answer

**Cache stampede** (zwany też dogpile) zachodzi, gdy gorączy klucz w cache wygasa i **wiele równoczesnych żądań go miss'uje jednocześnie**, wszystkie padają na origin (bazę danych lub serwis) aby jednocześnie przeliczyć tę samą wartość. Origin zostaje bombardowany na lawinę, którą nie potrafi obsłużyć, czasami doprowadzając do wyłączenia systemu.

## Przyczyna

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Triggerem jest **jednoczesne wygaśnięcie** popularnego klucza. Rozwiązaniem jest upewnienie się, że tylko jedno (lub kilka) przeliczeń się odbywa, lub że żądania nie wszystkie wygasają jednocześnie.

## Rozwiązania

- **Locking / single-flight** — pierwsze miss bierze lock i przelicza; wszyscy inni czekają na ten jeden wynik zamiast wszystkich trafiać na origin.
- **Stale-while-revalidate** — serwuj lekko nieświeżą wartość natychmiast podczas gdy jedno zadanie w tle ją odświeża. Żadne żądanie nie blokuje się na origin.
- **Wczesne / probabilistyczne przeliczeń** — odśwież klucz *przed* jego wygaśnięciem, z prawdopodobieństwem które rośnie w miarę zbliżania się wygaśnięcia, aby jedno szczęśliwe żądanie odbudowało go przed lawiną.
- **Jittered TTLs** — dodaj losowość do TTL'i aby klucze nie wygasały wszystkie w tym samym momencie.
- **Request coalescing** — połącz identyczne równoczesne żądania w jedno wołanie origin.

## Pseudo-kod single-flight

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Lock zapewnia dokładnie jedno wołanie origin; każde inne równoczesne żądanie czeka, a następnie czyta świeżo podpamięconą wartość.

## Dlaczego to ważne

Lawina zmienia rutynowe wygaśnięcie cache'a w awarię: cache, który chroniił Twoją bazę danych, nagle się zatrzymuje, a cały ruch ląduje na origin'e jednocześnie. Znanie przyczyny (jednoczesne wygaśnięcie gorących kluczy) i rozwiązań (single-flight, stale-while-revalidate, jitter) jest niezbędne do utrzymania niezawodności cache'a pod rzeczywistym obciążeniem.