Stampede ya cache ni nini na unaiwindisha vipi?

Question

Accepted Answer

A **cache stampede** (au dogpile) hutokea wakati funguo la cache yenye joto inapoulizwa na **ombi nyingi sawa sawa zikakosa kwa wakati mmoja**, zote zinarudi kwa asili kukamatia tena thamani sawa kwa wakati mmoja. Asili (DB au huduma) inakumbwa na mawimbi ambayo haiwezi kushughulikia, wakati mwingine kuangusha mfumo.

## Sababu

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Kigezo ni **uulizaji sawa sawa** wa funguo lenye mtaji. Marekebisho ni kuhakikisha kuwa recomputations moja tu (au chache) inatokea, au kwamba maombi hayaulizwi kwa wakati mmoja.

## Marekebisho

- **Kufunga / single-flight** — kutokuwa na matokeo ya kwanza kunakuwa na kufunga na kukamatia tena; wote wengine wanasubiri kwa matokeo hayo moja badala ya kukabiliwa na asili.
- **Stale-while-revalidate** — huduma thamani inayooza kidogo mara moja wakati kazi ya background inapokaribia. Ombi halisi halina kufungwa kwenye asili.
- **Mapya / probabilistic recomputation** — kamatia tena funguo *kabla* haijaulizwa, na uwezekano unaozidi kuwa juu jiji inapopata karibu, ili ombi moja la bahati linakujenga upya kabla ya stampede.
- **Jittered TTLs** — ongeza bahati ya TTLs ili funguo haziulizwi kwa wakati mmoja.
- **Kuunganisha maombi** — funga maombi yanayofanana sawa sawa kuwa kitu moja cha asili.

## Single-flight pseudo-code

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Kufunga kuhakikisha kwa ukali kitu moja cha asili; ombi kila lingine linalofanana linasubiri na kisha kusoma thamani iliyobadilishwa.

## Kwa nini inakusudi

Stampede inabadilisha ulizaji wa kawaida wa cache kuwa kwenye kuzidi: cache ambayo ilikuwa inikamatia hifadhi yako (DB) inasimama na kila trafiki inapotea kwa asili kwa wakati mmoja. Kujua sababu (uulizaji wa wakati mmoja wa funguo zenye joto) na marekebisho (single-flight, stale-while-revalidate, jitter) ni muhimu kwa kubaki na cache inayotaka kuwa na uhakika kwa juu ya mzigo halisi.