Kas yra duomenų particionavimas ir shardavimas?

Question

Accepted Answer

**Duomenų particionavimas** (shardavimas) paskirstomas duomenis keliuose serveriuose/duomenų bazėse taip, kad kiekvienas turi poaibį — tai leidžia horizontaliai keisti duomenų ir apkrovos mastelį už vieno serverio ribų. Pasirinkimas, kaip particionuoti (skaidymo raktas ir strategija) yra kritinis.

## Kas yra particionavimas/shardavimas

```text
PARTITIONING / SHARDING → divide data into pieces (partitions/shards) across multiple
servers, each holding a SUBSET:
  → no single server holds (or is overwhelmed by) all the data
  → scales STORAGE and LOAD horizontally (each shard handles its portion)
  → enables handling data/throughput beyond one machine's capacity
```

## Particionavimo strategijos

```text
HASH-based → hash the partition key → assign to a shard:
  ✓ EVEN distribution (avoids hotspots)  ✗ range queries hard; resharding is tricky
RANGE-based → partition by value ranges (e.g. A-M, N-Z; date ranges):
  ✓ efficient range queries  ✗ risk of HOTSPOTS (uneven load if data/access is skewed)
DIRECTORY/lookup → a lookup table maps keys to shards (flexible, but the lookup is overhead)
GEOGRAPHIC → partition by region (data locality)
```

## Kritinis pasirinkimas: skaidymo raktas

```text
The PARTITION KEY (shard key) is the most important decision:
  ✓ HIGH CARDINALITY + EVEN distribution → spreads data/load evenly (no hot shards)
  ✓ Aligns with QUERY patterns → queries hit one shard (efficient) vs all (scatter-gather)
  ✗ A BAD key → hotspots (one shard overloaded), uneven data, or queries hitting all shards
  → hard to change later → choose carefully
```

## Iššūkiai

```text
⚠️ CROSS-SHARD queries/joins are hard (data spread across shards) and slow (scatter-gather)
⚠️ REBALANCING / adding shards is complex (moving data)
⚠️ Transactions across shards are difficult; hotspots; operational complexity
→ powerful for scale, but adds significant complexity → use when truly needed
```

## Kodėl tai svarbu

Suprasti duomenų particionavimą ir shardavimą yra vertinga, nes tai **pagrindinė technika duomenims keisti mastelį už vieno serverio ribų**, kritinis iššūkis didelėms sistemoms, todėl tai svarbi sistemos projektavimo žinios.

Particionavimas/shardavimas — duomenų paskirstymas keliuose serveriuose taip, kad kiekvienas turi poaibį — leidžia **horizontaliai keisti saugojimo ir apkrovos mastelį** už vienos mašinos galingumo ribų, būtina, kai duomenys arba propuskulis viršija tai, ką vienas serveris gali apdoroti.

Suprasti **strategijas** ir jų kompromisus — **maišymo pagrindu** (tolygus paskirstymas išvengiant karšto taško, tačiau diapazonų užklausos ir peršardavimas sunkūs), **diapazoninė** (efektyvios diapazonų užklauso, bet rizika iš šališkumo dėl karšto taško), pagal katalogą (lanki su paieškos našta), ir geografinė — būtina pasirinkti, kaip particionuoti.

Svarbiausiai, suprasti, kad **skaidymo raktas yra svarbiausia sprendimas** yra pagrindinė išvada: geras raktas (aukšta kardinalumas, tolygus paskirstymas, suderintas su užklausų šablonais, kad užklauso pataikytų vieną šardą, o ne visus) tolygiai paskirsto apkrovą ir leidžia efektyvias užklausas, o blogas raktas sukelia karšto taško susidaryma (vienas šardas perkrautas), netolygūs duomenys arba išsklaidytos užklauso — ir kadangi vėliau sunku pakeisti, atidus pasirinkimas yra esmingas.

Suprasti **iššūkius** — kad kelių šardų užklauso ir sujungimai yra sunkūs ir lėti, perreguliavimas ir naujų šardų pridėjimas yra sudėtingi, ir kelių šardų operacijos yra sunkios — svarbu, nes tai padaro shardavimą galingą, bet reikšmingai sudėtingą, todėl jis turėtų būti naudojamas, kai iš tikrųjų reikalingas (po paprastesnio mastelio keitimo, pvz., talpyklą ir replikacija).

Kadangi duomenų mastelio keitimas už vieno serverio ribų yra kritinis iššūkis didelėms sistemoms ir particionavimas/shardavimas (su įmantraus skaidymo rakto sprendimu ir jo kompromisais bei iššūkiais) yra technika tam, ir kadangi suprasti strategijas, skaidymo rakto svarbumą ir iššūkius yra svarbu didelės apimties sistemų projektavimui, suprasti duomenų particionavimą ir shardavimą yra vertinga, praktiškai aktuali sistemos projektavimo žinios — pagrindinė horizontalaus duomenų mastelio keitimo technika, reikalinga atidžiai suprasti skaidymo strategijas, kritinį skaidymo rakto pasirinkimą ir reikšmingus iššūkius, ir pagrindinė sistemų, kurios keičia duomenų mastelį už vieno serverio galingumo ribų, projektavimui.