Apakah itu loncatan cache dan bagaimana anda mencegahnya?

Question

Accepted Answer

**Loncatan cache** (atau dogpile) terjadi apabila kunci cache panas tamat tempoh dan **banyak permintaan serentak kehilangan sekali gus**, semuanya jatuh kembali ke asal untuk mengira semula nilai yang sama serentak. Asal (DB atau perkhidmatan) dipukul dengan ledakan yang tidak dapat dikendalikan, kadang-kadang merobohkan sistem.

## Punca

```text
t=0   hot key expires
t=0+  1000 requests arrive → all miss → all query the DB for the SAME value
      → DB overwhelmed; latency spikes; failures cascade
```

Pemicu adalah **tamat tempoh serentak** bagi kunci yang popular. Perbaikan adalah memastikan hanya satu (atau sedikit) pengiraan semula berlaku, atau permintaan tidak semuanya tamat tempoh bersama.

## Perbaikan

- **Penguncian / single-flight** — kehilangan pertama mengambil kunci dan mengira semula; semua orang lain menunggu satu hasil itu daripada semua memukul asal.
- **Stale-while-revalidate** — layani nilai sedikit usang dengan segera manakala satu tugas latar belakang menyegarkannya. Tiada permintaan tersangkut di asal.
- **Pengiraan semula awal / probabilistik** — segarkan kunci *sebelum* ia tamat tempoh, dengan kebarangkalian yang meningkat apabila tamat tempoh menghampiri, jadi satu permintaan bertuah membinanya semula sebelum loncatan.
- **TTL bergetar** — tambahkan rawak kepada TTL supaya kunci tidak semuanya tamat tempoh pada masa yang sama.
- **Pengumpulan permintaan** — cipta permintaan serentak yang sama menjadi satu panggilan asal.

## Pseudo-kod single-flight

```text
function get(key):
  val = cache.get(key)
  if val is present: return val            // fast path: a hit

if lock.acquire(key, ttl=5s):            // only ONE request wins the lock
    try:
      val = recompute()                    // hit the origin exactly once
      cache.set(key, val, ttl)
    finally:
      lock.release(key)
    return val
  else:
    wait_briefly(); return get(key)        // others wait, then read the filled cache
```

Kunci memastikan tepat satu panggilan asal; setiap permintaan serentak yang lain menunggu kemudian membaca nilai cache yang baru sahaja.

## Mengapa ia penting

Satu loncatan mengubah tamat tempoh cache rutin menjadi gangguan: cache yang melindungi DB anda tiba-tiba berhenti, dan lalu lintas penuh mendarat di asal sekaligus. Mengetahui punca (tamat tempoh serentak bagi kunci panas) dan perbaikan (single-flight, stale-while-revalidate, jitter) adalah penting untuk menjaga cache boleh dipercayai di bawah beban sebenar.