Bir cache stampede (veya dogpile), sıcak bir cached key'in süresi dolduğunda ve birçok eşzamanlı istek aynı anda kaçırıldığında meydana gelir, hepsi aynı değeri eşzamanlı olarak yeniden hesaplamak için orijine düşer. Orijin (DB veya hizmet), işleyemeyeceği bir fırlamadan vurulur, bazen sistemi aşağı götürür.
t=0 hot key expires
t=0+ 1000 requests arrive → all miss → all query the DB for the SAME value
→ DB overwhelmed; latency spikes; failures cascade
Bu tetikleyici, popüler bir anahtarın eşzamanlı olarak süresi dolmasıdır. Düzeltme, yalnızca bir (veya birkaç) yeniden hesaplama yapılmasını veya isteklerin hepsi aynı anda süresi dolmamasını sağlamaktır.
function get(key):
val = cache.get(key)
if val is present: return val // fast path: a hit
if lock.acquire(key, ttl=5s): // only ONE request wins the lock
try:
val = recompute() // hit the origin exactly once
cache.set(key, val, ttl)
finally:
lock.release(key)
return val
else:
wait_briefly(); return get(key) // others wait, then read the filled cache
Kilit tam olarak bir kaynak çağrısını sağlar; diğer tüm eşzamanlı istekler bekler ve ardından yeni önbelleğe alınan değeri okur.
Bir stampede, rutin cache süresi dolmasını bir kesintiye dönüştürür: DB'nizi koruyan önbellek aniden durur ve tüm trafik aynı anda kaynağa düşer. Nedeni (sıcak anahtarların eşzamanlı olarak süresi dolması) ve çözümleri (single-flight, stale-while-revalidate, jitter) bilmek, gerçek yük altında önbelleklerin güvenilir kalmasını sağlamak için gereklidir.