Cache stampede คืออะไร และคุณจะป้องกันมันได้อย่างไร?

Question

Accepted Answer

**Cache stampede** (หรือ dogpile) เกิดขึ้นเมื่อ cache key ที่เสียดายหมดอายุและ **คำขอพร้อมกันจำนวนมากพลาดไปพร้อม ๆ กัน** ทั้งหมดตกผ่านไปยังต้นทางเพื่อคำนวณค่าเดียวกันพร้อม ๆ กัน ต้นทาง (DB หรือบริการ) ได้รับความเสียหายจากการระเบิดที่ไม่สามารถจัดการได้ บางครั้งก็ทำให้ระบบพัง

## สาเหตุ

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

สิ่งที่เรียกใจคือ **หมดอายุพร้อมกัน** ของคีย์ที่นิยมใช้ การแก้ไขคือการทำให้แน่ใจว่ามีการคำนวณเพียงครั้งเดียว (หรือไม่กี่ครั้ง) หรือคำขอไม่หมดอายุพร้อม ๆ กัน

## วิธีแก้ไข

- **Locking / single-flight** — ครั้งแรกที่พลาดใจจะรับ lock และคำนวณใหม่ ส่วนอื่น ๆ ทั้งหมดจะรอผลลัพธ์นั้นเพียงครั้งเดียว แทนที่จะกระแทกต้นทาง
- **Stale-while-revalidate** — ให้บริการค่าที่เก่าซ้ำเล็กน้อยทันทีในขณะที่งานพื้นหลังรีเฟรชค่านั้น ไม่มีคำขอที่ถูกบล็อก ที่ต้นทาง
- **Early / probabilistic recomputation** — รีเฟรชคีย์ *ก่อนที่จะ* หมดอายุ โดยมีความน่าจะเป็นที่เพิ่มขึ้นเมื่อหมดอายุใกล้มาถึง เพื่อให้คำขอที่โชคดีครั้งเดียวสร้างใหม่ก่อน stampede
- **Jittered TTLs** — เพิ่มความสุ่มเข่าให้กับ TTL เพื่อไม่ให้คีย์หมดอายุในเวลาเดียวกัน
- **Request coalescing** — รวมคำขอพร้อมกันที่เหมือนกันเป็นการเรียก ต้นทางหนึ่ง ครั้ง

## รหัส pseudo single-flight

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Lock ช่วยให้แน่ใจว่ามีการเรียก ต้นทางเพียงหนึ่งครั้ง คำขอพร้อมกันอื่น ๆ ทั้งหมดจะรอและอ่านค่า cache ที่สดใหม่

## ทำไมจึงสำคัญ

Stampede เปลี่ยนการหมดอายุ cache ตามปกติให้เป็นการหยุด: cache ที่ป้องกัน DB ของคุณหยุด และ ทราฟิกเต็มลงที่ต้นทาง ในครั้งเดียว การรู้สาเหตุ (หมดอายุพร้อมกันของคีย์ที่ร้อน) และวิธีแก้ไข (single-flight, stale-while-revalidate, jitter) มีความสำคัญในการรักษา cache ให้เชื่อถือได้ภายใต้โหลดจริง