Miten korjaat vinoutuneet tiedot ja kuumat osiot shardauksessa?

Question

IT Interview Practice · Accepted Answer

**Tunnista ensin epätasaisuus: tallennus, pyynnöt vai yhden tietueen päivitykset.** Lisäpalvelimet auttavat vain siirrettävään ylikuormaan.

Tilaukset jaetaan esimerkiksi myyjä-ID:llä. Useimmat myyjät ovat pieniä, mutta yksi käynnistää suuren kampanjan. Sen shard ylikuormittuu muiden ollessa hiljaisia. Tämä on kuuma osio: enemmän työtä kuin kapasiteettia.

## 1. Mittaa ennen avaimen vaihtoa

Vertaa kokoa, pyyntötahtia, viivettä sekä CPU- ja levypainetta. Erittele kuormittunut shard myyjittäin ja toiminnoittain. Suuri historiaosio voi olla joutilaana, pieni taas kuormittua yhden suositun tuotteen muutoksista.

Erota tuotetietojen luku, itsenäiset tilaukset ja saman varastotietueen muutokset. Niihin tarvitaan eri korjaukset.

## 2. Ymmärrä jatkuvan vinouman syy

Shard-avain määrää sijainnin. Myyjä-ID:n hajautus levittää eri myyjiä, mutta saman myyjän tilaukset seuraavat samaa sijoitusta. Se ei jaa yhden myyjän kuormaa itsestään.

Vähäiset avainarvot rajoittavat jakoa. Aikaväli voi kasata uudet kirjoitukset uusimpaan osioon. Tasaisempi avain voi vaatia tavallisilta kyselyiltä monta shardia. Katso MongoDB:n [shard-avaimen valinta](https://www.mongodb.com/docs/manual/core/sharding-choose-a-shard-key/).

## 3. Sovita ratkaisu työhön

| Näyttö | Arvioitava ratkaisu | Keskeinen raja |
|---|---|---|
| Paljon siirrettäviä osioita yhdessä shardissa | Tasapainotus vapaalle kapasiteetille | Työnkin on siirryttävä |
| Sama tuote luetaan toistuvasti | Cache tai lukureplikat sopivalla tuoreudella | Ei jaa tuotteen kirjoituksia |
| Myyjä luo paljon itsenäisiä tilauksia | Lisätilausavain tai bucket | Myyjän kokonaiskysely vaatii useita lukuja ja yhdistämistä |
| Saman varaston kilpailevat kirjoitukset | Vähemmän kilpailua tai uusi varastojako | Lisäshardit eivät poista oikeellisuuskoordinaatiota |

Suuren myyjän eristäminen suojaa muita ja antaa aikaa. Se ei luo rajatonta kapasiteettia, joten mittaa sen oma pullonkaula.

## 4. Arvioi myyjän jakamisen hinta

Ajattele reititystä myyjä-ID:n ja tilaus-ID:stä lasketun bucketin avulla. Kampanjan itsenäiset tilaukset jakautuvat useaan osioon.

```text
Merchant A + bucket 0 -> Partition 1
Merchant A + bucket 1 -> Partition 2
Merchant A + bucket 2 -> Partition 3
```

Yksi tilaus löytyy helposti laskettavalla bucketilla. Kaikki myyjän A viime tilaukset edellyttävät useita lukuja ja järjestettyä yhdistämistä. Sivutus, summat ja transaktiot monimutkaistuvat. Hyväksy tämä kustannus ennen jakoa.

## 5. Migroi oikeellisuus todistaen

Reitityksen vaihto jatkuvien kirjoitusten aikana tarvitsee suunnitelman. Kopioi tiedot, kerää väliaikaiset muutokset ja vertaa määriä sekä liiketoimintasummia ennen siirtoa. Pelkkä määrä ei paljasta vääriä arvoja.

Määritä käynnissä olevat kirjoitukset ja palautus menettämättä uuden rakenteen hyväksymiä tietoja. Kaksoiskirjoitus tarvitsee virheenkäsittelyn; kaksi kutsua ei takaa yhtäläisyyttä.

Testaa oikeasti vino kuorma suuren myyjän kanssa, ei tasainen satunnaisuus. Onnistuminen vähentää painetta, säilyttää kyselyhinnan ja samat tulokset. **Oikea avain tasapainottaa jakautumisen sekä lukemisen ja muuttamisen.**

Näyttö	Arvioitava ratkaisu	Keskeinen raja
Paljon siirrettäviä osioita yhdessä shardissa	Tasapainotus vapaalle kapasiteetille	Työnkin on siirryttävä
Sama tuote luetaan toistuvasti	Cache tai lukureplikat sopivalla tuoreudella	Ei jaa tuotteen kirjoituksia
Myyjä luo paljon itsenäisiä tilauksia	Lisätilausavain tai bucket	Myyjän kokonaiskysely vaatii useita lukuja ja yhdistämistä
Saman varaston kilpailevat kirjoitukset	Vähemmän kilpailua tai uusi varastojako	Lisäshardit eivät poista oikeellisuuskoordinaatiota

1. Mittaa ennen avaimen vaihtoa

2. Ymmärrä jatkuvan vinouman syy

3. Sovita ratkaisu työhön

4. Arvioi myyjän jakamisen hinta

5. Migroi oikeellisuus todistaen

Aiheeseen liittyvät kysymykset