Apa itu caching dan bagaimana penggunaannya dalam system design?

Question

Accepted Answer

**Caching** menyimpan data yang sering diakses dalam lapisan cepat (sering kali dalam memory) sehingga dapat diambil dengan cepat tanpa perlu menghitung ulang atau mengambil kembali dari sumber yang lebih lambat. Ini adalah salah satu teknik paling penting untuk meningkatkan performa dan skalabilitas.

## Apa yang dilakukan caching

```text
CACHING stores copies of data in a FAST location for quick repeated access:
  → instead of recomputing or re-fetching from a slow source (database, API, computation),
    serve from the fast cache
  → DRAMATICALLY faster (cache hit) + REDUCES load on the slow backend
→ trades some staleness/complexity for big performance and scalability gains.
```

## Di mana caching digunakan (lapisan)

```text
BROWSER / CLIENT cache → cache on the user's device
CDN → cache static content at edge locations near users
APPLICATION cache (e.g. Redis/Memcached) → cache DB query results, computed data, sessions
DATABASE cache → query/result caching
→ caching can happen at MULTIPLE layers (defense in depth for performance)
```

## Manfaat dan tantangan caching

```text
✓ PERFORMANCE → much faster responses (memory vs disk/network/computation)
✓ SCALABILITY → reduces load on databases/backends → they handle more
✓ Reduces cost and latency
⚠️ CACHE INVALIDATION → keeping cached data fresh (when source changes) is the hard part:
  → TTL (expire after time) + invalidation (update/remove on change)
  → stale data is the main risk → balance freshness vs performance
⚠️ Adds complexity; cache misses; what/when to cache
```

## Mengapa ini penting

Memahami caching adalah fondasi karena **salah satu teknik paling penting dan paling banyak digunakan dalam system design** untuk meningkatkan performa dan skalabilitas, sehingga merupakan pengetahuan yang esensial.

Caching — menyimpan data yang sering diakses dalam lapisan cepat untuk pengambilan cepat alih-alih menghitung ulang atau mengambil kembali dari sumber yang lebih lambat — memberikan manfaat dramatis: respons yang jauh lebih cepat (melayani dari memory cepat daripada database, jaringan, atau komputasi yang lambat) dan **mengurangi beban pada backend** (sehingga database dan service menangani lebih banyak, meningkatkan skalabilitas).

Manfaat ganda dari performa dan skalabilitas ini membuat caching ada di mana-mana dalam system design.

Memahami bahwa caching terjadi pada **multiple layers** — browser/client, CDN (edge caching dari konten statis), application cache (Redis/Memcached untuk hasil query dan data komputasi), dan database cache — penting untuk memahami di mana caching berlaku.

Memahami **manfaat dan tantangan** sangat penting: manfaatnya (performa, skalabilitas, mengurangi biaya dan latency) mendorong penggunaannya, tetapi **tantangan cache invalidation** — menjaga data cached tetap segar ketika sumber berubah, masalah yang terkenal sulit dialamatkan oleh TTL dan explicit invalidation, dengan stale data menjadi risiko utama — penting untuk dipahami, karena caching menukar beberapa staleness dan kompleksitas untuk mendapatkan keuntungannya.

Memahami balance (freshness vs performa) dan bahwa caching menambah kompleksitas mencerminkan pemahaman yang matang.

Karena caching adalah salah satu teknik system design yang paling berdampak dan paling banyak digunakan (meningkatkan performa dan skalabilitas) dan memahami apa yang dilakukannya, di mana digunakan (layers), dan manfaat serta tantangannya (terutama invalidation) adalah fundamental, memahami caching adalah pengetahuan system design yang esensial dan foundational — teknik inti yang muncul di hampir semua sistem yang scalable, central untuk performa dan skalabilitas, dan penting untuk dipahami termasuk tantangan kuncinya yaitu invalidation, konsep yang berulang di seluruh system design.