Ein Cache Stampede (oder Dogpile) tritt auf, wenn ein häufig genutzter gecachter Schlüssel abläuft und viele gleichzeitige Anfragen ihn alle auf einmal verfehlen, wobei alle zur Origin fallen, um denselben Wert gleichzeitig neu zu berechnen. Die Origin (DB oder Service) wird durch einen Burst bombardiert, den sie nicht verarbeiten kann, manchmal wird das System dadurch zum Absturz gebracht.
t=0 hot key expires
t=0+ 1000 requests arrive → all miss → all query the DB for the SAME value
→ DB overwhelmed; latency spikes; failures cascade
Der Auslöser ist das gleichzeitige Ablaufen eines beliebten Schlüssels. Die Lösung besteht darin, sicherzustellen, dass nur eine (oder wenige) Neuberechnung stattfindet, oder dass Anfragen nicht alle gleichzeitig ablaufen.
function get(key):
val = cache.get(key)
if val is present: return val // fast path: a hit
if lock.acquire(key, ttl=5s): // only ONE request wins the lock
try:
val = recompute() // hit the origin exactly once
cache.set(key, val, ttl)
finally:
lock.release(key)
return val
else:
wait_briefly(); return get(key) // others wait, then read the filled cache
Der Lock stellt sicher, dass genau ein Origin-Call stattfindet; alle anderen gleichzeitigen Anfragen warten und lesen dann den neu gecachten Wert.
Ein Stampede verwandelt einen routinemäßigen Cache-Ablauf in einen Ausfall: der Cache, der deine DB schützte, funktioniert plötzlich nicht mehr, und der gesamte Traffic landet auf einmal auf der Origin. Die Ursache zu kennen (gleichzeitiges Ablaufen von häufig genutzten Schlüsseln) und die Lösungen (Single-Flight, Stale-While-Revalidate, Jitter) ist wichtig, um Caches zuverlässig unter echtem Traffic zu halten.
Eine Sammlung von IT-Interviewfragen mit ausführlichen Antworten — vom Junior bis zum Senior.
Spenden