Kaip spręsti netolygų duomenų pasiskirstymą ir perkrautus skaidinius naudojant sharding?

Question

IT Interview Practice · Accepted Answer

**Pirmiausia nustatykite, kas netolygiai pasiskirstę: saugomi duomenys, užklausos ar vieno įrašo atnaujinimai.** Nauji serveriai padeda tik jei perkrautą darbą galima jiems perduoti.

Tarkime, užsakymai skaidomi pagal pardavėjo ID. Dauguma pardavėjų maži, bet vienas pradeda didelę kampaniją. Jo šardas perkrautas, kiti laisvi. Tai karšta particija — dalis, gaunanti daugiau darbo, nei pajėgia atlikti.

## 1. Prieš keisdami raktą išmatuokite disbalansą

Palyginkite duomenų dydį, užklausų dažnį, delsą ir CPU ar disko apkrovą tarp šardų. Perkrautą šardą išskaidykite pagal pardavėją ir operaciją. Senų įrašų šardas gali būti didelis, bet ramus; mažą gali užversti kartotiniai populiarios prekės atnaujinimai.

Kampanijai nustatykite, ar apkrova kyla iš produktų skaitymo, daugelio nepriklausomų užsakymų kūrimo, ar vieno atsargų įrašo keitimo. Šiems trims atvejams reikia skirtingų sprendimų.

## 2. Supraskite, kodėl paskirstymas lieka netolygus

Šardo raktas nustato įrašų vietą. Pardavėjo ID maiša paskirsto skirtingus pardavėjus, bet visi to paties rakto užsakymai vis tiek laikosi tos pačios vietos taisyklės. Maiša automatiškai nepadalija vieno pardavėjo darbo.

Raktai su mažai skirtingų reikšmių riboja skaidymą. Laiko intervalas gali sutelkti naujus įrašymus naujausioje particijoje. Labiau išsklaidytas raktas gerina paskirstymą, bet įprastoms užklausoms gali tekti kreiptis į daug šardų. MongoDB [šardo rakto gairės](https://www.mongodb.com/docs/manual/core/sharding-choose-a-shard-key/) paaiškina šiuos aspektus.

## 3. Pritaikykite sprendimą perkrautam darbui

| Įrodymas | Vertinama kryptis | Svarbi riba |
|---|---|---|
| Daug perkeliamų particijų viename šarde | Perbalansuoti į laisvą pajėgumą | Duomenų perkėlimas padeda tik perkėlus ir susijusį darbą |
| Kartotiniai tos pačios prekės skaitymai | Podėlis arba skaitymo replikos, jei leidžia naujumas | Tai nepaskirsto rašymų į tą prekę |
| Vienas pardavėjas kuria daug nepriklausomų užsakymų | Dalinti pagal papildomą užsakymo raktą ar kibirą | Visos pardavėjo užklausos gali reikalauti kelių skaitymų ir sujungimo |
| Daug rašymų konkuruoja dėl vienų atsargų | Mažinti konkurenciją arba keisti atsargų paskirstymą | Daugiau šardų nepanaikina teisingumo koordinavimo |

Didelio pardavėjo izoliavimas gali apsaugoti kitus ir laimėti laiko. Tai nesuteikia jam neriboto pajėgumo, todėl matuokite jo individualią kliūtį.

## 4. Įvertinkite pardavėjo padalijimo kainą

Įsivaizduokite užsakymų nukreipimą pagal pardavėjo ID ir iš užsakymo ID apskaičiuotą kibirą. Nepriklausomi kampanijos užsakymai tuomet gali atsidurti keliose particijose.

```text
Merchant A + bucket 0 -> Partition 1
Merchant A + bucket 1 -> Partition 2
Merchant A + bucket 2 -> Partition 3
```

Vieną užsakymą lengviau gauti, kai jo kibiras apskaičiuojamas. Tačiau visiems naujausiems pardavėjo A užsakymams reikia skaityti kelias particijas ir sujungti rezultatus eilės tvarka. Sudėtingėja puslapiavimas, sumos ir transakcijos tarp particijų. Dalinkite tik įvertinę, ar papildoma skaitymo ir koordinavimo kaina priimtina.

## 5. Migruokite įrodydami teisingumą

Keičiant nukreipimą tęsiantis rašymui reikia plano. Nukopijuokite įrašus, užfiksuokite kopijavimo metu vykstančius pakeitimus ir prieš perjungimą sutikrinkite kiekius bei verslo sumas. Vien kiekiai gali nepastebėti klaidingų užsakymo verčių.

Apibrėžkite vykstančių įrašymų tvarkymą perjungimo metu ir grįžimą neprarandant naujos struktūros priimtų įrašymų. Dvigubam rašymui reikia gedimų valdymo; rašymas į dvi vietas negarantuoja jų sutapimo.

Galiausiai bandykite tikrą netolygią apkrovą su dideliu pardavėju, ne vien vienodai generuotą srautą. Sėkmė reiškia mažesnę perkrauto šardo apkrovą, priimtiną užklausų kainą ir nepakitusius verslo rezultatus. **Geras raktas suderina darbo paskirstymą su programos skaitymo ir atnaujinimo būdu.**

Daug perkeliamų particijų viename šarde	Perbalansuoti į laisvą pajėgumą	Duomenų perkėlimas padeda tik perkėlus ir susijusį darbą
Kartotiniai tos pačios prekės skaitymai	Podėlis arba skaitymo replikos, jei leidžia naujumas	Tai nepaskirsto rašymų į tą prekę
Vienas pardavėjas kuria daug nepriklausomų užsakymų	Dalinti pagal papildomą užsakymo raktą ar kibirą	Visos pardavėjo užklausos gali reikalauti kelių skaitymų ir sujungimo
Daug rašymų konkuruoja dėl vienų atsargų	Mažinti konkurenciją arba keisti atsargų paskirstymą	Daugiau šardų nepanaikina teisingumo koordinavimo

1. Prieš keisdami raktą išmatuokite disbalansą

2. Supraskite, kodėl paskirstymas lieka netolygus

3. Pritaikykite sprendimą perkrautam darbui

4. Įvertinkite pardavėjo padalijimo kainą

5. Migruokite įrodydami teisingumą

Susiję klausimai