Bagaimana Anda melakukan scaling pada database?

Question

Accepted Answer

Database sering menjadi **bottleneck** saat sistem berkembang. Scaling melibatkan teknik seperti **replikasi** (salinan untuk read scaling dan ketersediaan), **sharding** (membagi data di beberapa server), **caching**, dan memilih tipe database yang sesuai.

## Replikasi — salinan data

```text
REPLICATION → maintain COPIES of the database across servers:
  → PRIMARY (writes) + REPLICAS (copies):
    - READ SCALING → direct reads to replicas (offload the primary) → handle more reads
    - AVAILABILITY → a replica can take over if the primary fails (failover)
  ⚠️ replication lag → replicas may be slightly behind (eventual consistency for reads)
→ great for READ-heavy workloads and availability (most apps are read-heavy)
```

## Sharding — membagi data

```text
SHARDING → split (partition) data across MULTIPLE database servers (each holds a SUBSET):
  → distribute by a SHARD KEY (e.g. user ID) → each shard handles part of the data/load
  → scales WRITES and storage horizontally (beyond one server's capacity)
  ⚠️ complex: choosing a good shard key (even distribution), cross-shard queries are hard,
    rebalancing → significant complexity
→ for when data/write volume exceeds a single server (large scale)
```

## Teknik scaling lainnya

```text
✓ CACHING → cache query results / hot data (Redis) → big reduction in DB load (often the
  first and most impactful step)
✓ INDEXING & query optimization → make queries efficient (before scaling out)
✓ Read/write SPLITTING; connection pooling; denormalization (for read performance)
✓ Choose the right DATABASE (some scale horizontally more easily — NoSQL)
✓ Vertical scaling (bigger DB server) → simple first step, but limited
```

## Mengapa ini penting

Memahami cara melakukan scaling pada database berharga karena **database sering menjadi bottleneck** saat sistem berkembang, sehingga scaling-nya adalah tantangan system-design yang kritis dan umum, menjadikan pengetahuan ini penting.

Saat sistem berkembang, database sering menjadi faktor pembatas (satu database hanya dapat menangani beban dan data tertentu), menjadikan scaling database sebagai kekhawatiran utama.

Memahami **replikasi** — mempertahankan salinan (primary untuk writes plus replicas) untuk mengaktifkan **read scaling** (mengarahkan reads ke replicas untuk mengurangi beban primary, berharga karena kebanyakan aplikasi adalah read-heavy) dan **ketersediaan** (replica mengambil alih saat terjadi kegagalan) — adalah teknik fundamental dan banyak digunakan, beserta pemahaman tentang caveat replication lag (eventual consistency untuk replica reads).

Memahami **sharding** — membagi data di beberapa server (masing-masing memegang subset, didistribusikan dengan shard key) untuk melakukan scaling **writes dan storage** secara horizontal melampaui satu server — sangat penting untuk skala yang sangat besar, beserta kompleksitasnya yang signifikan (memilih shard key yang baik, cross-shard queries yang sulit, rebalancing).

Memahami **teknik lainnya** — **caching** (sering menjadi langkah pertama dan paling berdampak, drastis mengurangi beban database), **indexing dan query optimization** (membuat queries efisien sebelum scaling out), read/write splitting, denormalisasi, memilih database yang horizontally-scalable, dan vertical scaling sebagai langkah pertama yang sederhana — memberikan toolkit lengkap, dengan kebijaksanaan praktis penting bahwa caching dan optimization sering mendahului kompleksitas sharding.

Karena database umumnya adalah bottleneck scaling dan scaling-nya (via replikasi untuk reads/ketersediaan, sharding untuk writes/storage, caching, dan optimization) adalah tantangan kritis dan umum, dan karena memahami teknik-teknik ini dan trade-off-nya penting untuk mendesain sistem yang scalable, memahami cara melakukan scaling pada database adalah pengetahuan system-design yang berharga dan praktis-penting — mengatasi bottleneck kritis dan umum, sentral untuk scaling sistem nyata, dan memerlukan pemahaman tentang replikasi, sharding, caching, dan optimization untuk menangani scaling database yang secara inevitable dibutuhkan sistem yang berkembang.