Što je particioniranje podataka i sharding?

Question

Accepted Answer

**Particioniranje podataka** (sharding) dijeli podatke na više servera/baza podataka tako da svaki drži podskup — omogućujući horizontalno skaliranje podataka i opterećenja iznad mogućnosti jednog servera. Odabir kako particionirati (ključ particije i strategija) je kritičan.

## Što je particioniranje/sharding

```text
PARTITIONING / SHARDING → divide data into pieces (partitions/shards) across multiple
servers, each holding a SUBSET:
  → no single server holds (or is overwhelmed by) all the data
  → scales STORAGE and LOAD horizontally (each shard handles its portion)
  → enables handling data/throughput beyond one machine's capacity
```

## Strategije particioniranja

```text
HASH-based → hash the partition key → assign to a shard:
  ✓ EVEN distribution (avoids hotspots)  ✗ range queries hard; resharding is tricky
RANGE-based → partition by value ranges (e.g. A-M, N-Z; date ranges):
  ✓ efficient range queries  ✗ risk of HOTSPOTS (uneven load if data/access is skewed)
DIRECTORY/lookup → a lookup table maps keys to shards (flexible, but the lookup is overhead)
GEOGRAPHIC → partition by region (data locality)
```

## Kritičan odabir: ključ particije

```text
The PARTITION KEY (shard key) is the most important decision:
  ✓ HIGH CARDINALITY + EVEN distribution → spreads data/load evenly (no hot shards)
  ✓ Aligns with QUERY patterns → queries hit one shard (efficient) vs all (scatter-gather)
  ✗ A BAD key → hotspots (one shard overloaded), uneven data, or queries hitting all shards
  → hard to change later → choose carefully
```

## Izazovi

```text
⚠️ CROSS-SHARD queries/joins are hard (data spread across shards) and slow (scatter-gather)
⚠️ REBALANCING / adding shards is complex (moving data)
⚠️ Transactions across shards are difficult; hotspots; operational complexity
→ powerful for scale, but adds significant complexity → use when truly needed
```

## Zašto je važno

Razumijevanje particioniranja podataka i shardinga je vrijedano jer je to **ključna tehnike za skaliranje podataka izvan jednog servera**, kritičan izazov za velike sustave, pa je važno znanje o arhitekturi sustava.

Particioniranje/sharding — dijeljenje podataka na više servera tako da svaki drži podskup — omogućuje **horizontalno skaliranje pohrane i opterećenja** izvan kapaciteta jednog stroja, što je bitno kada podaci ili propusnost premašuju ono što jedan server može rukovati.

Razumijevanje **strategija** i njihovih kompromisa — **temeljeno na hash-funkciji** (ravnomjerna distribucija izbjegavajući vrele točke, ali otežavajući upite rasponima i ponovno shardiranje), **temeljeno na rasponu** (učinkoviti upiti raspona ali rizik od vrelih točaka uslijed iskosa), na temelju direktorija (fleksibilno s overhead pretraživanja), i geografsko — nužno je za odabir kako particionirati.

Najkritičnije, razumijevanje da je **ključ particije najvažnija odluka** je ključni uvid: dobar ključ (visoka kardinalnost, ravnomjerna distribucija, poravnat s uzorcima upita tako da upiti pogode jednu particiju umjesto svih) ravnomjerno raspoređuje opterećenje i omogućuje učinkovite upite, dok loš ključ uzrokuje vrete točke (jedna particija pretežana), neravnomjerne podatke ili upite rasipanja-prikupljanja — i budući da je teško promijeniti kasnije, odabir s pažnjom je bitan.

Razumijevanje **izazova** — da su upiti i spajanja između particija teški i spora, ponovno balansiranje i dodavanje particija je kompleksno, i transakcije između particija su teške — važno je jer čine sharding moćnim ali značajno složenim, pa bi trebao biti korišten kada je doista potreban (nakon jednostavnijeg skaliranja poput cachiranja i replikacije).

Budući da je skaliranje podataka izvan jednog servera kritičan izazov za velike sustave i particioniranje/sharding (sa ključnom odlukom ključa particije i njenim kompromisima i izazovima) je tehnike za to, i budući da je razumijevanje strategija, važnosti ključa particije i izazova važno za oblikovanje sustava velikog razmjera, razumijevanje particioniranja podataka i shardinga je vrijedano, praktično relevantno znanje o arhitekturi — ključna tehnike za horizontalno skaliranje podataka, koja zahtijeva pažljivo razumijevanje strategija particioniranja, kritičan izbor ključa particije, i značajne izazove, i biti je centralna za oblikovanje sustava koji skaliraju podatke izvan kapaciteta jednog servera.