Mikä on cache stampede ja miten sen voi estää?

Question

Accepted Answer

**Cache stampede** (tai dogpile) tapahtuu, kun kuuma välimuistissa oleva avain vanhenee ja **monet samanaikaiset pyynnöt missaavat sen kerralla**, kaikki palaavat lähteelle laskemaan samaa arvoa samanaikaisesti. Lähde (tietokanta tai palvelu) saa tuhoutuvan pulssin, jonka se ei kykene käsittelemään, mikä toisinaan kaataa koko järjestelmän.

## Syy

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Laukaisin on **samanaikainen vanhentuminen** suositulle avaimelle. Ratkaisu on varmistaa, että vain yksi (tai muutama) uudelleenlaskeminen tapahtuu, tai että pyynnöt eivät vanhene kaikki kerralla.

## Ratkaisut

- **Lukitus / single-flight** — ensimmäinen miss ottaa lukon ja laskee uudelleen; kaikki muut odottavat sitä yhtä tulosta sen sijaan, että kaikki iskisivät lähteelle.
- **Stale-while-revalidate** — palvele hieman vanhentunutta arvoa välittömästi samalla kun yksi taustatehtävä päivittää sitä. Mikään pyyntö ei odota lähteellä.
- **Varhainen / probabilistinen uudelleenlaskeminen** — päivitä avain *ennen* sen vanhentumista, todennäköisyydellä, joka nousee vanhentumisen lähestyessä, jotta yksi onnekseen pyydetty tieto rakentaa sen ennen stampedea.
- **Jittered TTLs** — lisää satunnaisuutta TTL-arvoihin niin että avaimet eivät vanhene kaikki samalla hetkellä.
- **Request coalescing** — yhdistä identtiset samanaikaiset pyynnöt yhdeksi lähteeksi kutsuksi.

## Single-flight näennäiskoodi

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Lukitus varmistaa täsmälleen yhden lähteen kutsun; jokainen muu samanaikainen pyyntö odottaa ja sitten lukee tuoreen välimuistin arvon.

## Miksi se on tärkeää

Stampede muuttaa rutiinin välimuistin vanhentumisen häiriöksi: välimuisti, joka suojasi tietokantaasi, yhtäkkiä pysähtyy, ja täysi liikenne osuu lähteelle kerralla. Syyn (kuumien avaimien samanaikainen vanhentuminen) ja ratkaisujen (single-flight, stale-while-revalidate, jitter) ymmärtäminen on välttämätöntä välimuistin luotettavuuden säilyttämiselle todellisella kuormalla.