Cache stampede (hay dogpile) xảy ra khi một key nóng trong cache hết hạn và nhiều request đồng thời cùng miss nó một lúc, tất cả rơi xuống origin để tính lại cùng một giá trị cùng lúc. Origin (DB hoặc service) bị một đợt bùng nổ nó không kham nổi đập vào, đôi khi làm sập cả hệ thống.
t=0 key nóng hết hạn
t=0+ 1000 request đến → tất cả miss → tất cả truy vấn DB cho CÙNG một giá trị
→ DB quá tải; latency tăng vọt; lỗi lan truyền (cascade)
Ngòi nổ là hết hạn đồng thời của một key phổ biến. Cách khắc phục là đảm bảo chỉ một (hoặc vài) lần tính lại xảy ra, hoặc các request không cùng hết hạn một lúc.
function get(key):
val = cache.get(key)
if val is present: return val // đường nhanh: một hit
if lock.acquire(key, ttl=5s): // chỉ MỘT request thắng lock
try:
val = recompute() // gọi origin đúng một lần
cache.set(key, val, ttl)
finally:
lock.release(key)
return val
else:
wait_briefly(); return get(key) // những request khác chờ, rồi đọc cache đã đầy
Lock đảm bảo đúng một lần gọi origin; mọi request đồng thời khác chờ rồi đọc giá trị vừa được cache.
Một stampede biến việc hết hạn cache thường lệ thành một sự cố ngừng dịch vụ: cache vốn đang bảo vệ DB của bạn đột nhiên ngừng, và toàn bộ traffic đổ lên origin cùng một lúc. Biết nguyên nhân (hết hạn đồng thời của các key nóng) và cách khắc phục (single-flight, stale-while-revalidate, jitter) là thiết yếu để giữ cache đáng tin cậy dưới tải thực.