Kaj je razdeljevanje podatkov in sharding?

Question

Accepted Answer

**Razdeljevanje podatkov** (sharding) podatke razdeli med več strežnikov/baz podatkov, pri čemer vsak vsebuje podmnožico — omogoča horizontalno skaliranje podatkov in obremenitve onkraj enega strežnika. Izbira načina razdeljevanja (ključ za razdeljevanje in strategija) je kritična.

## Kaj je razdeljevanje/sharding

```text
PARTITIONING / SHARDING → divide data into pieces (partitions/shards) across multiple
servers, each holding a SUBSET:
  → no single server holds (or is overwhelmed by) all the data
  → scales STORAGE and LOAD horizontally (each shard handles its portion)
  → enables handling data/throughput beyond one machine's capacity
```

## Strategije razdeljevanja

```text
HASH-based → hash the partition key → assign to a shard:
  ✓ EVEN distribution (avoids hotspots)  ✗ range queries hard; resharding is tricky
RANGE-based → partition by value ranges (e.g. A-M, N-Z; date ranges):
  ✓ efficient range queries  ✗ risk of HOTSPOTS (uneven load if data/access is skewed)
DIRECTORY/lookup → a lookup table maps keys to shards (flexible, but the lookup is overhead)
GEOGRAPHIC → partition by region (data locality)
```

## Kritična izbira: ključ za razdeljevanje

```text
The PARTITION KEY (shard key) is the most important decision:
  ✓ HIGH CARDINALITY + EVEN distribution → spreads data/load evenly (no hot shards)
  ✓ Aligns with QUERY patterns → queries hit one shard (efficient) vs all (scatter-gather)
  ✗ A BAD key → hotspots (one shard overloaded), uneven data, or queries hitting all shards
  → hard to change later → choose carefully
```

## Izzivi

```text
⚠️ CROSS-SHARD queries/joins are hard (data spread across shards) and slow (scatter-gather)
⚠️ REBALANCING / adding shards is complex (moving data)
⚠️ Transactions across shards are difficult; hotspots; operational complexity
→ powerful for scale, but adds significant complexity → use when truly needed
```

## Zakaj je to pomembno

Razumevanje razdeljevanja podatkov in shardinga je dragoceno, ker je **ključna tehnika za skaliranje podatkov onkraj enega strežnika**, kritični izziv za velike sisteme, zato je to pomembno znanje o oblikovanju sistemov.

Razdeljevanje/sharding — razdelitev podatkov med več strežnikov tako, da vsak vsebuje podmnožico — omogoča **horizontalno skaliranje skladiščenja in obremenitve** onkraj zmogljivosti enega računalnika, kar je bistvenega pomena, ko podatki ali prepustnost preseže, kar je zmožen enkratni strežnik.

Razumevanje **strategij** in njihovih kompromisov — **povratne zgoščitve** (enakomerna porazdelitev, ki se izogne vroče točkam, toda otežkočava poizvedbe po obsegu in ponovni sharding), **obsegom-osnovane** (učinkovite poizvedbe po obsegu, vendar tveganje vroče točke iz poizkrivljanja), na imeniku osnovane (fleksibilne s preklapljajočo porabo) in geografske — je potrebna za izbiro načina razdeljevanja.

Najkritičnejše je razumevanje, da je **ključ za razdeljevanje najpomembnejša odločitev** osrednja spoznanja: dober ključ (visoka kardinalnost, enakomerna porazdelitev, poravnana z vzorci poizvedb, tako da poizvedbe dosežejo en shard namesto vseh) enakomerno razdeli obremenitev in omogoči učinkovite poizvedbe, slabši ključ pa povzroči vroče točke (en shard preobremenjen), neenakomerne podatke ali poizvedbe s sipanjem in zbiranjem — in ker je težko spremeniti pozneje, je previdna izbira bistvenega pomena.

Razumevanje **izzivov** — da so poizvedbe in spoji čez več shardev težki in počasni, ponovno uravnoteževanje in dodajanje shardov je zapleteno, transakcije čez več shardov so težavne — je pomembno, ker ta sharding zmogočajo, vendar ga bistveno zapletejo, zato bi ga bilo treba uporabiti, kadar je res potreben (po preprostejšem skaliranju, kot so predpomnilnik in podvajanje).

Ker je skaliranje podatkov onkraj enega strežnika kritičen izziv za velike sisteme in razdeljevanje/sharding (s ključno odločitvijo o ključu za razdeljevanje in njegovimi kompromisi ter izzivi) je tehnika zanj, in ker je razumevanje strategij, pomena ključa za razdeljevanje in izzivov pomembno za oblikovanje velikih sistemov, je razumevanje razdeljevanja podatkov in shardinga dragoceno, praktično relevantno znanje o oblikovanju sistemov — ključna tehnika za horizontalno skaliranje podatkov, zahtevajočega pazljivo razumevanje strategij razdeljevanja, kritične izbire ključa za razdeljevanje in pomembnih izzivov ter osrednje za oblikovanje sistemov, ki skalirajo podatke onkraj zmogljivosti enega strežnika.