En cache stampede (eller dogpile) oppstår når en hot cachet key utløper og mange samtidige requests mister den samtidig, og faller alle gjennom til opprinnelsen for å beregne samme verdi samtidig. Opprinnelsen (DB eller tjeneste) blir hamret av en burst den ikke kan håndtere, noen ganger tar systemet ned.
t=0 hot key expires
t=0+ 1000 requests arrive → all miss → all query the DB for the SAME value
→ DB overwhelmed; latency spikes; failures cascade
Utløseren er samtidig utløp av en populær key. Løsningen er å sikre at bare en (eller få) omberegning skjer, eller at requests ikke alle utløper samtidig.
function get(key):
val = cache.get(key)
if val is present: return val // fast path: a hit
if lock.acquire(key, ttl=5s): // only ONE request wins the lock
try:
val = recompute() // hit the origin exactly once
cache.set(key, val, ttl)
finally:
lock.release(key)
return val
else:
wait_briefly(); return get(key) // others wait, then read the filled cache
Locken sikrer nøyaktig ett opprinnelseskall; hver annen samtidi request venter og leser deretter den nylig cachede verdien.
En stampede gjør en rutinebasert cache-utløp til et strømbrudd: cachen som beskyttet DB-en din stopper plutselig, og full trafikk lander på opprinnelsen samtidig. Å kjenne årsaken (samtidig utløp av hot keys) og løsningene (single-flight, stale-while-revalidate, jitter) er essensielt for å holde cachene pålitelige under reell belastning.
Et bibliotek av IT-intervjuspørsmål med detaljerte svar — fra Junior til Senior.
Doner