Apa itu cache stampede dan bagaimana cara mencegahnya?

Question

Accepted Answer

Sebuah **cache stampede** (atau dogpile) terjadi ketika kunci cache yang panas kedaluwarsa dan **banyak permintaan bersamaan kehilangan sekaligus**, semuanya jatuh kembali ke sumber untuk menghitung ulang nilai yang sama secara bersamaan. Sumber (DB atau layanan) dipukul dengan lonjakan yang tidak dapat ditanganinya, kadang-kadang membawa sistem ke bawah.

## Penyebabnya

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Pemicunya adalah **kedaluwarsa bersamaan** dari kunci populer. Perbaikannya adalah memastikan hanya satu (atau sedikit) perhitungan ulang terjadi, atau permintaan tidak semuanya kedaluwarsa bersama-sama.

## Perbaikan

- **Penguncian / single-flight** — miss pertama mengambil kunci dan menghitung ulang; semua orang lain menunggu hasil tunggal itu daripada semuanya mengenai sumber.
- **Stale-while-revalidate** — sajikan nilai yang sedikit ketinggalan zaman segera sementara satu tugas latar belakang menyegarkannya. Tidak ada permintaan yang tersumbat di sumber.
- **Perhitungan ulang awal / probabilistik** — segarkan kunci *sebelum* kedaluwarsa, dengan probabilitas yang meningkat seiring pendekatan kedaluwarsa, jadi satu permintaan beruntung membangunnya kembali sebelum stampede.
- **TTL yang di-jitter** — tambahkan keacakan ke TTL agar semua kunci tidak kedaluwarsa pada saat yang sama.
- **Penggabungan permintaan** — gabungkan permintaan bersamaan yang identik menjadi satu panggilan sumber.

## Pseudo-kode single-flight

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Kunci memastikan tepat satu panggilan sumber; setiap permintaan bersamaan lainnya menunggu dan kemudian membaca nilai cache yang segar.

## Mengapa ini penting

Sebuah stampede mengubah kedaluwarsa cache rutin menjadi pemadaman: cache yang melindungi DB Anda tiba-tiba berhenti, dan semua lalu lintas mendarat di sumber sekaligus. Mengetahui penyebabnya (kedaluwarsa bersamaan dari kunci panas) dan perbaikannya (single-flight, stale-while-revalidate, jitter) sangat penting untuk menjaga cache tetap dapat diandalkan di bawah beban nyata.