Kaj je cache stampede in kako ga preprečiš?

Question

IT Interview Practice · Accepted Answer

A **cache stampede** (ali dogpile) se zgodi, ko poteče vroče cacheirani ključ in **veliko hkratnih zahtevkov hkrati zgrešim**, vsi padejo skozi do izvora, da hkrati ponovno izračunajo isto vrednost. Izvor (baza podatkov ali storitev) dobi napad, ki ga ne more obvladati, včasih tudi sesuje sistem.

## Vzrok

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Spremljač je **hkratno potekanje** priljubljenega ključa. Popravek je zagotoviti, da se zgodi le ena (ali nekaj) ponovno izračunatev ali da zahtevki ne potečejo vsi hkrati.

## Popravki

- **Zaklučevanje / single-flight** — prvi promašaj vzame zaklučevanje in ponovno izračuna; vsi drugi čakajo na ta en rezultat namesto da bi vsi zadeli izvor.
- **Stale-while-revalidate** — takoj odslužite malo zastarelo vrednost, medtem ko ena naloga v ozadju to osvežuje. Nobena zahtevka se ne blokira na izvoru.
- **Zgodnje / verjetnostno ponovno izračunavanje** — osvežite ključ *pred* njegovim potekom, z verjetnostjo, ki se povečuje, ko se izteka čas, da en srečen zahtevek to zgradi pred stampedo.
- **Zmešani TTL-ji** — dodajte naključnost TTL-jem, da ključi ne potečejo vsi v istem trenutku.
- **Koalescenica zahtevkov** — zložite enake hkratne zahtevke v en klic izvora.

## Single-flight psevdo-koda

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Zaklučevanje zagotavlja natanko en klic izvora; vsak drugi hkratni zahtevek čaka in nato bere svežo cacheirano vrednost.

## Zakaj je to pomembno

Stampedo spremeni rutinsko potekanje cacheja v izpad: cache, ki je varoval tvojo bazo podatkov, nenadoma preneha in ves promet pristane na izvoru hkrati. Poznati vzrok (hkratno potekanje vročih ključev) in popravke (single-flight, stale-while-revalidate, jitter) je nujno za ohranjanje zanesljivosti cacheja pri resničnih obremenitvah.

Vzrok

Popravki

Single-flight psevdo-koda

Zakaj je to pomembno

Povezana vprašanja