Hogyan gyorsítsuk a bulk indexelést túlterhelés nélkül?

Question

IT Interview Practice · Accepted Answer

A bulk több indexelési műveletet küld egy kérésben. A sikeres műveletek sebességét javítsuk a cluster válaszkészségének megőrzésével, ne a kiküldött kérések számát maximalizáljuk.

## Egyszerre egy dimenziót hangoljunk

Kezdjünk jellemző dokumentumok mérsékelt batch-eivel. Növeljük a batch bájtméretét, amíg az áteresztés nem javul tovább vagy romlik a memória és a késleltetés. Ezután külön hangoljuk az egyidejű küldők számát. Ezer kis esemény és ezer nagy dokumentum nagyon eltérő batch.

## A sikeres HTTP-válasz tartalmazhat hibás elemeket

Nézzük ezt az egyszerűsített szemléltető bulk választ:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Az a elem sikerült; ne küldjük újra csak azért, mert más elem hibázott.
- Nézzük meg b hibájának részleteit. Átmeneti túlterhelési elutasítás lassítást és késleltetett, korlátozott retryt kíván.
- c részleteit is vizsgáljuk. Tartós mappinghiba adat- vagy mappingjavítást igényel, nem végtelen retryt.

## Az újrapróbálás ne okozzon újabb túlterhelést

Fokozatosan növeljük a retry késleltetését, és adjunk véletlen eltérést, hogy a kliensek ne egyszerre próbálkozzanak. Korlátozzuk a sort és telítődésekor lassítsuk a producereket; ez a backpressure.

Bizonytalan hálózati eredmény után a stabil dokumentum-ID segít elkerülni a duplikációt, de scriptes növelés és elavult frissítés további védelmet igényel. Figyeljük az elutasított írásokat, memóriát, lemezt és keresési késleltetést. Csak akkor ritkítsuk a refresht, ha a termék elfogadja a későbbi keresési láthatóságot.

[Hivatalos dokumentáció](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Egyszerre egy dimenziót hangoljunk

A sikeres HTTP-válasz tartalmazhat hibás elemeket

Az újrapróbálás ne okozzon újabb túlterhelést

Kapcsolódó kérdések