Çfarë është cache stampede dhe si e parandaloni atë?

Question

Accepted Answer

A **cache stampede** (ose dogpile) ndodh kur një çelës i këmbyerit i nxehtë skadon dhe **shumë kërkesa të njëkohshme e humbasin atë në të njëjtën kohë**, të gjitha bien deri te origjina për të rillogaritur të njëjtën vlerë njëkohësisht. Origjina (DB ose shërbimi) goditet nga një rrjedhje që nuk mund ta trajtojë, ndonjëherë edhe duke shkatërruar sistemin.

## Shkaku

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Shpëtimtari është **skadon i njëkohshëm** i një çelësi popullor. Rregullimi është të sigurohemi që vetëm një (ose pak) rillogaritur ndodh, ose që kërkesatnat nuk skadon të gjitha në të njëjtën kohë.

## Rregullimet

- **Bllokimi / single-flight** — humbja e parë merr një bllok dhe rillogarit; të gjithë të tjerë presin atë një rezultat në vend që të goditen të gjithë origjina.
- **Stale-while-revalidate** — shërbimi i vlerës pak të vjetër menjëherë ndërsa një detyrë në sfond e rifreskon atë. Asnjë kërkesë nuk bllokohet në origjinë.
- **Rillogarimet e hershme / probabilistike** — rifresko një çelës *para se* të skadojë, me një probabilitet që rritet ndërsa skadon i afrohet, kështu që një kërkesë me fat e rindon atë para stampedo.
- **TTL-je me dridhje** — shtoni rastësi në TTL-je në mënyrë që çelësat mos skadon në të njëjtën çast.
- **Koalescimi i kërkesave** — shkathtë kërkesa identike të njëkohshme në një thirrje origjine.

## Psevdo-kod me single-flight

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Bllokimi sigurohemi saktësisht një thirrje origjine; çdo kërkesë tjetër e njëkohshme pret dhe më pas lexon vlerën e sapomembe në cache.

## Pse është e rëndësishme

Një stampedo transformon një skadon rutine të cache në një ndërprerje: cache që ishte duke mbrojtur DB-në tuaj nëherë ndalon, dhe i gjithë trafiku ulet në origjinë menjëherë. Njohja e shkakut (skadon i njëkohshëm i çelësave të nxehtë) dhe rregullimet (single-flight, stale-while-revalidate, jitter) është thelbësore për të mbajtur cache të besueshëm nën ngarkesë reale.