Kaip veikia sharding MongoDB?

Question

Accepted Answer

**Sharding** yra MongoDB metodas **horizontaliam masteliavimui** — duomenų paskirstymui keliuose serveriuose (**shards**), kad duomenų bazė galėtų tvarkyti duomenų rinkinius ir pralaidumą, viršijantį vieno serverio galimybes. Tai padalija duomenis pagal **shard key**, o MongoDB nusiunčia užklausas į tinkamus shard'us.

## Kodėl shardinti: viršyti vieno serverio apribojimus

```text
A single server has limits (storage, RAM, write throughput). When data/load exceeds
what one server (even a powerful one) can handle, SHARDING distributes it:
  → data is split across multiple SHARDS (each a replica set)
  → each shard holds a SUBSET of the data → combined capacity scales horizontally
  → handles huge datasets and high write throughput
```

## Kaip veikia sharding

```text
The sharded cluster has three parts:
  SHARDS    → each holds a portion of the data (each shard is itself a replica set)
  mongos    → query ROUTER — apps connect here; it routes queries to the right shard(s)
  CONFIG SERVERS → store metadata (which data is on which shard)

Data is partitioned by the SHARD KEY into CHUNKS, distributed across shards.
MongoDB balances chunks across shards automatically.
```

## Shard key — kritiniausia sprendimo priėmimo dalis

```js
sh.shardCollection("mydb.orders", { customerId: 1 });   // shard by customerId
```

```text
The SHARD KEY determines how data is distributed — choosing it well is CRITICAL:
  ✓ HIGH CARDINALITY (many distinct values) → data spreads evenly
  ✓ EVEN DISTRIBUTION of reads/writes → no hot shards
  ✓ Queries include the shard key → routed to ONE shard (targeted, fast)
  ✗ A BAD shard key → uneven distribution (hotspots), or queries hitting ALL shards
    (scatter-gather, slow) → poor scaling. Hard to change later!
Strategies: ranged sharding, HASHED sharding (even distribution), zoned sharding.
```

## Tikslinės vs scatter-gather užklausos

```text
Query INCLUDES the shard key → routed to the specific shard(s) → fast (targeted)
Query WITHOUT the shard key → must query ALL shards (scatter-gather) → slower
→ Design the shard key around your common query patterns.
```

## Kodėl tai svarbu

Sharding yra svarbus žinias **MongoDB masteliavimui iki labai didelių duomenų rinkinių ir didelio pralaidumo**, todėl jo supratimas yra brangus aukštesnio lygio žinios didelio masto MongoDB diegimams.

Pagrindinė vertė yra **horizontalus masteliavimas**: kai duomenys arba apkrova viršija vieno serverio galimybes, sharding paskirstyti duomenis keliuose shard'uose, masteliuojant talpą horizontaliai, kad būtų tvarkyti milžiniški duomenų rinkiniai ir didelis rašymo pralaidumas, kurių vertikalus masteliavimas (didesnis serveris) negali pasiekti — pagrindinė galimybė didelio masto sistemose.

Supratimas apie **architektūrą** (kiekvienas shard turi duomenų poaibį, `mongos` užklausų maršrutizatorius nukreipia užklausas, konfigūracijos serveriai saugo metaduomenis) yra pamatinis.

Daugiausiai svarbiausia, supratimas apie **shard key** — lauką (-us), nustatantį duomenų paskirstymą — yra gyvybiškai svarbus, nes **tai yra pati reikšmingiausia ir sunkiai keičiama sharding sprendimo dalis**: geras shard key (aukšta kardinalumą, tolygus paskirstymas, suderintas su užklausų šablonais) paskirstyti duomenis ir apkrovą tolygiai ir įgalina tikslines užklausas, o blogas keičia hotspot'us (netolygią apkrovą), scatter-gather užklausas (tiesiogiai visus shard'us, lėtai), ir blogą masteliavimą.

Supratimas apie **tikslines vs scatter-gather užklausas** (užklausos, įtraukiančios shard key, maršrutizuojamos į konkrečius shard'us efektyviai; tos, kuriose jo nėra, paliečia visus shard'us) sustiprina shard key dizainą aplink užklausų šablonus.

Kadangi masteliavimas iki labai didelių duomenų yra tikras iššūkis greitai augančioms programoms, o kadangi sharding (MongoDB'o horizontalus masteliavimo mechanizmas) reikalauja atidaus supratimo — ypač kritinio, sunkiai keitimo shard key sprendimo ir jo poveikio paskirstymui bei užklausų efektyvumui — supratimas apie sharding yra svarbi aukštesnio lygio žinios MongoDB masteliavimui, tema, parodanti horizontalaus duomenų bazės masteliavimo supratimą ir viena sfera, kurioje shard key sprendimas ypač parodo gilų, reikšmingą MongoDB masteliavimo žinias, tikėtinas aukštesnio lygio vaidmenyse, tvarkant didelio masto sistemas.