Hoe versnel je bulkindexering zonder het cluster te overbelasten?

Question

IT Interview Practice · Accepted Answer

Bulk verstuurt meerdere indexeringsbewerkingen in één verzoek. Verhoog het aantal succesvolle bewerkingen terwijl het cluster responsief blijft, in plaats van alleen zoveel mogelijk verzoeken te versturen.

## Stel één dimensie tegelijk af

Begin met bescheiden batches representatieve documenten. Verhoog het aantal bytes per batch totdat doorvoer niet meer verbetert of geheugen en latency verslechteren. Stel daarna het aantal gelijktijdige verzenders apart af. Duizend kleine events en duizend grote documenten zijn heel verschillende batches.

## Een succesvol HTTP-antwoord kan mislukte items bevatten

Bekijk dit vereenvoudigde voorbeeld van een bulkantwoord:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a is geslaagd; stuur het niet opnieuw alleen omdat een ander item mislukte.
- Bekijk de foutdetails van b. Een tijdelijke overbelastingsafwijzing vraagt om vertragen en een begrensde retry na wachttijd.
- Bekijk ook de details van c. Een permanente mappingfout vraagt om correctie van data of mapping, niet eindeloze retries.

## Laat retries geen nieuwe overbelasting worden

Verleng retrywachttijden geleidelijk en voeg willekeurige spreiding toe zodat clients niet allemaal tegelijk opnieuw proberen. Begrens de wachtrij en vertraag producenten als deze volloopt; dit heet backpressure.

Na een onzekere netwerkuitkomst helpen stabiele document-ID's dubbele records voorkomen, maar scriptmatige verhogingen en verouderde updates vragen extra waarborgen. Bewaak geweigerde schrijfacties, geheugen, schijf en zoeklatency. Verlaag de refreshfrequentie alleen als het product minder directe zoekzichtbaarheid accepteert.

[Officiële documentatie](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Stel één dimensie tegelijk af

Een succesvol HTTP-antwoord kan mislukte items bevatten

Laat retries geen nieuwe overbelasting worden

Gerelateerde vragen