En cache stampede (eller dogpile) opstår når en populær cached nøgle udløber og mange samtidige anmodninger mister den på én gang, og alle falder igennem til origin for at genberegne den samme værdi samtidigt. Origin (DB eller service) bliver bombarderet af en burst, som den ikke kan håndtere, og nogle gange kommer systemet ned.
t=0 hot key expires
t=0+ 1000 requests arrive → all miss → all query the DB for the SAME value
→ DB overwhelmed; latency spikes; failures cascade
Omkostningen er samtidig udløb af en populær nøgle. Løsningen er at sikre, at kun én (eller få) genberegning sker, eller at anmodninger ikke alle udløber på samme tid.
function get(key):
val = cache.get(key)
if val is present: return val // fast path: a hit
if lock.acquire(key, ttl=5s): // only ONE request wins the lock
try:
val = recompute() // hit the origin exactly once
cache.set(key, val, ttl)
finally:
lock.release(key)
return val
else:
wait_briefly(); return get(key) // others wait, then read the filled cache
Låsen sikrer præcis ét origin-kald; alle andre samtidige anmodninger venter og læser derefter den netop cached værdi.
En stampede gør en rutinemæssig cache-udløb til et nedbrud: cachen, som beskyttede din DB, stopper pludseligt, og hele trafikken lander på origin på én gang. At kende årsagen (samtidig udløb af populære nøgler) og løsningerne (single-flight, stale-while-revalidate, jitter) er vigtig for at holde caches pålidelige under reel belastning.