Hvordan øker du bulk-indeksering uten å overbelaste klyngen?

Question

IT Interview Practice · Accepted Answer

Bulk sender flere indekseringsoperasjoner i én forespørsel. Øk antallet vellykkede operasjoner mens klyngen fortsatt svarer godt, fremfor å maksimere antallet sendte forespørsler.

## Juster én dimensjon om gangen

Start med moderate batcher av representative dokumenter. Øk byte per batch til gjennomstrømningen ikke forbedres eller minnebruk og forsinkelse blir verre. Juster deretter antallet samtidige avsendere separat. Tusen små hendelser og tusen store dokumenter er svært forskjellige batcher.

## Et vellykket HTTP-svar kan inneholde feilede elementer

Se på dette forenklede eksemplet på et bulksvar:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Element a lyktes; ikke send det på nytt bare fordi et annet element feilet.
- Undersøk feildetaljene for b. En midlertidig overbelastningsavvisning krever lavere tempo og et begrenset nytt forsøk etter venting.
- Undersøk også detaljene for c. En permanent mappingfeil trenger retting av data eller mapping, ikke endeløse nye forsøk.

## Ikke la nye forsøk skape mer overbelastning

Øk ventetiden gradvis og legg til tilfeldig variasjon slik at klienter ikke prøver igjen samtidig. Begrens køen og senk produsenttempoet når den fylles; dette er backpressure.

Etter et uklart nettverksutfall hjelper stabile dokument-ID-er mot duplikater, men skriptbaserte økninger og foreldede oppdateringer trenger ekstra vern. Overvåk avviste skrivinger, minne, disk og søkeforsinkelse. Reduser refresh-frekvensen bare hvis produktet godtar mindre umiddelbar søkesynlighet.

[Offisiell dokumentasjon](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Juster én dimensjon om gangen

Et vellykket HTTP-svar kan inneholde feilede elementer

Ikke la nye forsøk skape mer overbelastning

Relaterte spørsmål