キャッシュスタンピードとは何か、またそれを防ぐ方法は？

Question

IT Interview Practice · Accepted Answer

**キャッシュスタンピード**（またはdogpile）は、ホットなキャッシュキーが有効期限を切れ、**多くの同時リクエストが同時にキャッシュミス**となり、すべてがオリジン（origin）にフォールスルーして同じ値を同時に再計算するときに発生します。オリジン（DBまたはサービス）は処理できないバーストに叩かれ、システムがダウンすることもあります。

## 原因

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

トリガーは人気のあるキーの**同時有効期限切れ**です。修正は、再計算が1つ（またはいくつか）だけ行われることを確保するか、リクエストすべてが同時に期限切れにならないようにすることです。

## 修正方法

- **ロック / single-flight** — 最初のミスがロックを取得して再計算し、他のすべてはそのロック結果を待つため、オリジンにすべてがヒットしません。
- **Stale-while-revalidate** — わずかに古い値を即座に提供しながら、1つのバックグラウンドタスクでそれをリフレッシュします。リクエストはオリジンでブロックされません。
- **早期 / 確率的再計算** — 有効期限の*前に*キーをリフレッシュし、有効期限が近づくにつれて確率を上げるので、1つの幸運なリクエストがスタンピードの前にそれを再構築します。
- **Jittered TTLs** — TTLにランダム性を追加して、キーすべてが同じ瞬間に期限切れにならないようにします。
- **Request coalescing** — 同一の同時リクエストを1つのオリジン呼び出しに統合します。

## Single-flight疑似コード

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

ロックは正確に1つのオリジン呼び出しを保証します。他のすべての同時リクエストは待機してから、新しくキャッシュされた値を読み取ります。

## なぜ重要なのか

スタンピードは、通常のキャッシュ有効期限切れを停止に変えます。DBを保護していたキャッシュが突然停止し、すべてのトラフィックが一度にオリジンにランディングします。原因（ホットキーの同時有効期限切れ）と修正方法（single-flight、stale-while-revalidate、jitter）を知ることは、実際の負荷の下でキャッシュを信頼性高く保つために不可欠です。

原因

修正方法

Single-flight疑似コード

なぜ重要なのか

関連する質問