cache stampede(또는 dogpile)는 인기 캐시 key가 만료되어 많은 동시 요청이 한꺼번에 miss하면서 모두 origin으로 내려가 같은 값을 동시에 재계산할 때 발생합니다. origin(DB나 서비스)이 감당할 수 없는 폭주를 맞아 때로는 시스템 전체를 다운시킵니다.
t=0 인기 key 만료
t=0+ 1000개 요청 도착 → 모두 miss → 모두 DB에 같은 값을 쿼리
→ DB 과부하; latency 급증; 장애가 cascade로 전파
방아쇠는 인기 key의 동시 만료입니다. 해결책은 재계산이 하나(또는 소수)만 일어나게 하거나, 요청들이 한꺼번에 만료되지 않게 하는 것입니다.
function get(key):
val = cache.get(key)
if val is present: return val // 빠른 경로: hit
if lock.acquire(key, ttl=5s): // 오직 하나의 요청만 lock 획득
try:
val = recompute() // origin을 정확히 한 번만 호출
cache.set(key, val, ttl)
finally:
lock.release(key)
return val
else:
wait_briefly(); return get(key) // 다른 요청들은 기다린 뒤 채워진 캐시를 읽음
lock은 origin 호출을 정확히 한 번으로 보장하며, 다른 모든 동시 요청은 기다린 뒤 방금 캐싱된 값을 읽습니다.
stampede는 일상적인 캐시 만료를 장애로 바꿉니다: DB를 보호하던 캐시가 갑자기 멈추고 전체 트래픽이 한꺼번에 origin으로 떨어집니다. 원인(인기 key의 동시 만료)과 해결책(single-flight, stale-while-revalidate, jitter)을 아는 것은 실제 부하에서 캐시를 신뢰성 있게 유지하는 데 필수적입니다.