Un cache stampede (o dogpile) si verifica quando una chiave cache calda scade e molte richieste concorrenti la mancano contemporaneamente, cadendo tutte sull'origin per ricalcolare lo stesso valore simultaneamente. L'origin (DB o servizio) viene travolta da un picco che non riesce a gestire, talvolta mettendo giù il sistema.
t=0 hot key expires
t=0+ 1000 requests arrive → all miss → all query the DB for the SAME value
→ DB overwhelmed; latency spikes; failures cascade
Il trigger è la scadenza simultanea di una chiave popolare. La soluzione è assicurare che solo uno (o pochi) ricalcoli avvengano, o che le richieste non scadano tutte insieme.
function get(key):
val = cache.get(key)
if val is present: return val // fast path: a hit
if lock.acquire(key, ttl=5s): // only ONE request wins the lock
try:
val = recompute() // hit the origin exactly once
cache.set(key, val, ttl)
finally:
lock.release(key)
return val
else:
wait_briefly(); return get(key) // others wait, then read the filled cache
Il lock assicura esattamente una chiamata all'origin; ogni altra richiesta concorrente aspetta e poi legge il valore appena cachato.
Uno stampede trasforma una normale scadenza cache in un'interruzione: la cache che proteggeva il tuo DB improvvisamente si ferma, e tutto il traffico atterra sull'origin in una volta. Conoscere la causa (scadenza simultanea di chiavi calde) e le soluzioni (single-flight, stale-while-revalidate, jitter) è essenziale per mantenere le cache affidabili sotto carico reale.