Cache stampede (neboli dogpile) se stane, když vyprší platnost horkého klíče v cache a mnoho souběžných požadavků jej vynechá najednou, všechny se propadnou do původního zdroje a rekomputují stejnou hodnotu současně. Původní zdroj (DB nebo služba) je zasypán prudkou vlnou, kterou nemůže zvládnout, někdy až systém padne.
t=0 hot key expires
t=0+ 1000 requests arrive → all miss → all query the DB for the SAME value
→ DB overwhelmed; latency spikes; failures cascade
Spouštěčem je souběžné vypršení platnosti populárního klíče. Řešením je zajistit, aby se rekomputace stala pouze jedinkrát (nebo málo krát), nebo aby požadavky nevypršely všechny najednou.
function get(key):
val = cache.get(key)
if val is present: return val // fast path: a hit
if lock.acquire(key, ttl=5s): // only ONE request wins the lock
try:
val = recompute() // hit the origin exactly once
cache.set(key, val, ttl)
finally:
lock.release(key)
return val
else:
wait_briefly(); return get(key) // others wait, then read the filled cache
Zámek zajistí přesně jeden pokyn do původního zdroje; všechny ostatní souběžné požadavky čekají a poté čtou nově cachovanou hodnotu.
Stampede přemění rutinní vypršení cache na výpadek: cache, která chránila vaši DB, náhle přestane a veškeý provoz dopadne na původní zdroj najednou. Znalost příčiny (souběžné vypršení populárních klíčů) a řešení (single-flight, stale-while-revalidate, jitter) je nezbytná pro udržení spolehlivých cache pod skutečným zatížením.