Apa itu pemartisian data dan sharding?

Question

Accepted Answer

**Pemartisian data** (sharding) membagi data di beberapa server/database sehingga masing-masing menyimpan subset — memungkinkan penskalaan horizontal data dan beban di luar server tunggal. Memilih cara memartisi (kunci partisi dan strategi) sangat penting.

## Apa itu pemartisian/sharding

```text
PARTITIONING / SHARDING → divide data into pieces (partitions/shards) across multiple
servers, each holding a SUBSET:
  → no single server holds (or is overwhelmed by) all the data
  → scales STORAGE and LOAD horizontally (each shard handles its portion)
  → enables handling data/throughput beyond one machine's capacity
```

## Strategi pemartisian

```text
HASH-based → hash the partition key → assign to a shard:
  ✓ EVEN distribution (avoids hotspots)  ✗ range queries hard; resharding is tricky
RANGE-based → partition by value ranges (e.g. A-M, N-Z; date ranges):
  ✓ efficient range queries  ✗ risk of HOTSPOTS (uneven load if data/access is skewed)
DIRECTORY/lookup → a lookup table maps keys to shards (flexible, but the lookup is overhead)
GEOGRAPHIC → partition by region (data locality)
```

## Pilihan kritis: kunci partisi

```text
The PARTITION KEY (shard key) is the most important decision:
  ✓ HIGH CARDINALITY + EVEN distribution → spreads data/load evenly (no hot shards)
  ✓ Aligns with QUERY patterns → queries hit one shard (efficient) vs all (scatter-gather)
  ✗ A BAD key → hotspots (one shard overloaded), uneven data, or queries hitting all shards
  → hard to change later → choose carefully
```

## Tantangan

```text
⚠️ CROSS-SHARD queries/joins are hard (data spread across shards) and slow (scatter-gather)
⚠️ REBALANCING / adding shards is complex (moving data)
⚠️ Transactions across shards are difficult; hotspots; operational complexity
→ powerful for scale, but adds significant complexity → use when truly needed
```

## Mengapa ini penting

Memahami pemartisian data dan sharding berharga karena merupakan **teknik kunci untuk menskalakan data di luar server tunggal**, tantangan kritis bagi sistem besar, jadi penting untuk pengetahuan desain sistem.

Pemartisian/sharding — membagi data di beberapa server sehingga masing-masing menyimpan subset — memungkinkan **penskalaan horizontal penyimpanan dan beban** di luar kapasitas satu mesin, penting ketika data atau throughput melebihi apa yang dapat ditangani server tunggal.

Memahami **strategi** dan trade-off mereka — **berbasis hash** (distribusi merata menghindari hotspot, tetapi membuat range query dan resharding sulit), **berbasis range** (range query efisien tetapi berisiko hotspot dari skew), berbasis direktori (fleksibel dengan overhead lookup), dan geografis — diperlukan untuk memilih cara memartisi.

Paling kritis, memahami bahwa **kunci partisi adalah keputusan paling penting** adalah wawasan kunci: kunci yang baik (kardinalitas tinggi, distribusi merata, selaras dengan pola query sehingga query mengenai satu shard daripada semua) menyebarkan beban secara merata dan memungkinkan query efisien, sedangkan kunci yang buruk menyebabkan hotspot (satu shard kelebihan beban), data tidak merata, atau scatter-gather query — dan karena sulit diubah kemudian, memilih dengan hati-hati sangat penting.

Memahami **tantangan** — bahwa cross-shard query dan join sulit dan lambat, rebalancing dan penambahan shard kompleks, dan cross-shard transaction sulit — penting karena ini membuat sharding powerful tetapi signifikan kompleks, jadi harus digunakan ketika benar-benar diperlukan (setelah penskalaan lebih sederhana seperti caching dan replication).

Karena menskalakan data di luar server tunggal adalah tantangan kritis bagi sistem besar dan pemartisian/sharding (dengan keputusan partition-key yang penting dan trade-off serta tantangannya) adalah teknik untuknya, dan karena memahami strategi, pentingnya partition-key, dan tantangan penting untuk merancang sistem berskala besar, memahami pemartisian data dan sharding berharga, pengetahuan desain sistem yang relevan secara praktis — teknik kunci untuk penskalaan data horizontal, memerlukan pemahaman hati-hati tentang strategi partisi, pilihan partition-key kritis, dan tantangan signifikan, dan sentral untuk merancang sistem yang menskalakan data di luar kapasitas server tunggal.