Što je cache stampede i kako ga sprečavate?

Question

Accepted Answer

**Cache stampede** (ili dogpile) se događa kada ključ u cacheu koji se često koristi istekne i **mnogo istovremenih zahtjeva ga istovremeno promijeni**, svi padaju natrag prema izvoru da ponovno izračunaju istu vrijednost istovremeno. Izvor (baza podataka ili usluga) je bombardiran naglim povećanjem koje ne može podnijeti, ponekad srušavajući sustav.

## Uzrok

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Pokretač je **istovremeno istjecanje** popularnog ključa. Ispravka je osigurati da se pojavi samo jedno (ili nekoliko) ponovno izračunavanja, ili da zahtjevi svi istovremeno ne istječu.

## Ispravke

- **Zaključavanje / single-flight** — prvi promašaj prihvaća zaključavanje i ponovno izračunava; svi ostali čekaju taj jedan rezultat umjesto da svi pogode izvor.
- **Stale-while-revalidate** — odmah poslužiti malo zastarjelu vrijednost dok jedna zadaća u pozadini je osvježava. Nijedan zahtjev se ne blokira na izvoru.
- **Rano / vjerojatnostno ponovno izračunavanje** — osvježiti ključ *prije* nego što istekne, s vjerojatnošću koja raste kako se istjecanje približava, tako da jedan sretni zahtjev rekonstruira prije stampede-a.
- **Jittered TTLs** — dodati slučajnost TTL vrijednostima kako svi ključevi ne bi istekli u istom trenutku.
- **Koalesciranje zahtjeva** — spojiti identične istovremene zahtjeve u jedan poziv izvora.

## Single-flight pseudo-kod

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Zaključavanje osigurava točno jedan poziv izvora; svaki drugi istovremeni zahtjev čeka i zatim čita novouloženu cache vrijednost.

## Zašto je to važno

Stampede pretvara rutinsko istjecanje cachea u prekid rada: cache koji je štitio vašu bazu podataka iznenada se zaustavlja, i sav promet pada na izvor odjednom. Poznavanje uzroka (istovremeno istjecanje vrućih ključeva) i ispravki (single-flight, stale-while-revalidate, jitter) bitno je za održavanje pouzdanog cachea pod stvarnim opterećenjem.