Hogyan kezelhető az adateloszlás egyenlőtlensége és a túlterhelt partíció sharding esetén?

Question

IT Interview Practice · Accepted Answer

**Először azonosítsd, mi egyenetlen: a tárolt adat, a kérésforgalom vagy egyetlen rekord módosítása.** Több szerver csak akkor segít, ha a túlterhelt munka áthelyezhető rájuk.

Tegyük fel, a rendelések kereskedőazonosító szerint oszlanak meg. A legtöbb kereskedő kicsi, egy azonban nagy kampányt futtat. Shardja túlterhelt lesz, a többi csendes. Ez forró partíció: kapacitásánál több munkát kap.

## 1. Kulcsváltás előtt mérd az egyenetlenséget

Hasonlítsd össze az adatméretet, kérésszámot, késést és CPU- vagy lemezterhelést a shardok között. A túlterhelt shardot bontsd kereskedőre és műveletre. Régi rekordokkal nagy, de tétlen lehet; egy kicsit túlterhelhet egy népszerű tétel ismételt módosítása.

A kampánynál tisztázd, termékadat-olvasás, sok független rendelés vagy azonos készletrekord ismételt változtatása okozza-e a terhelést. A három eset más megoldást igényel.

## 2. Értsd meg az egyenetlenség fennmaradását

A shardkulcs határozza meg a rekord helyét. A kereskedőazonosító hash-elése különböző kereskedőket oszthat szét, de azonos kulcs rendelései ugyanazt az elhelyezési szabályt követik. A hash nem osztja szét automatikusan egy kereskedő terhelését.

Kevés különböző értékű kulcs szűkíti a felosztást. Az időtartomány az új írásokat a legfrissebb partícióra összpontosíthatja. Szórtabb kulcs javíthatja az eloszlást, de a gyakori lekérdezéseket több shardhoz küldi. A MongoDB [shardkulcs-útmutatója](https://www.mongodb.com/docs/manual/core/sharding-choose-a-shard-key/) részletezi ezeket.

## 3. A túlterhelt munkához igazítsd a megoldást

| Bizonyíték | Vizsgálandó irány | Fontos korlát |
|---|---|---|
| Sok mozgatható partíció egy shardon | Egyensúlyozd a rendelkezésre álló kapacitáson | Csak a kapcsolódó munka együttmozgásával segít |
| Egy termék ismételt olvasása | Cache vagy olvasási replika, ha a frissesség engedi | A termék írásait nem osztja szét |
| Egy kereskedő sok független rendelése | Kiegészítő rendeléskulcs vagy bucket | Teljes kereskedő lekérdezése több olvasást és egyesítést igényelhet |
| Sok írás egy készletrekordért verseng | Versengéscsökkentés vagy készletelosztás újratervezése | Több shard nem szünteti meg a helyességi koordinációt |

A nagy kereskedő elkülönítése védi a többieket és időt nyer. Neki sem ad végtelen kapacitást, ezért saját szűk keresztmetszetét továbbra is mérd.

## 4. Vizsgáld a kereskedő felosztásának árát

Képzelj el kereskedőazonosítóval és rendelésazonosítóból képzett buckettel irányított rendeléseket. A független rendelések több partícióra kerülhetnek.

```text
Merchant A + bucket 0 -> Partition 1
Merchant A + bucket 1 -> Partition 2
Merchant A + bucket 2 -> Partition 3
```

Egy rendelést könnyebb lekérni, ha bucketje kiszámítható. A kereskedő összes friss rendeléséhez több partíciót kell olvasni és sorba rendezve egyesíteni. Lapozás, összesítés és partíciók közötti tranzakció bonyolultabb lesz. Csak elfogadható többletolvasás és koordináció mellett válaszd.

## 5. Bizonyítható helyességgel migrálj

Folyamatos írás mellett az útvonalváltás migrációs tervet igényel. Másold a rekordokat, rögzítsd a közbeni változásokat, majd forgalomváltás előtt egyeztesd a darabszámokat és üzleti összegeket. A darabszám önmagában nem talál hibás rendelési értéket.

Definiáld a folyamatban lévő írások kezelését és a visszaállást úgy, hogy az új elrendezés által elfogadott írás se vesszen el. Kettős íráshoz hibakezelés kell: két helyre írás nem garantál azonosságot.

Végül ténylegesen ferde terheléssel tesztelj, a nagy kereskedővel együtt, ne egyenletes forgalommal. Siker a túlterhelt shard tehermentesítése, elfogadható lekérdezési költség és változatlan üzleti eredmény. **A jó kulcs a munka elosztását az olvasási és módosítási igényekkel egyensúlyozza.**

Bizonyíték	Vizsgálandó irány	Fontos korlát
Sok mozgatható partíció egy shardon	Egyensúlyozd a rendelkezésre álló kapacitáson	Csak a kapcsolódó munka együttmozgásával segít
Egy termék ismételt olvasása	Cache vagy olvasási replika, ha a frissesség engedi	A termék írásait nem osztja szét
Egy kereskedő sok független rendelése	Kiegészítő rendeléskulcs vagy bucket	Teljes kereskedő lekérdezése több olvasást és egyesítést igényelhet
Sok írás egy készletrekordért verseng	Versengéscsökkentés vagy készletelosztás újratervezése	Több shard nem szünteti meg a helyességi koordinációt

1. Kulcsváltás előtt mérd az egyenetlenséget

2. Értsd meg az egyenetlenség fennmaradását

3. A túlterhelt munkához igazítsd a megoldást

4. Vizsgáld a kereskedő felosztásának árát

5. Bizonyítható helyességgel migrálj

Kapcsolódó kérdések