Hvordan gør du bulk-indeksering hurtigere uden overbelastning?

Question

IT Interview Practice · Accepted Answer

Bulk sender flere indekseringsoperationer i én forespørgsel. Forbedr raten af vellykkede operationer, mens klyngen forbliver responsiv, frem for at maksimere antallet af afsendte forespørgsler.

## Juster én dimension ad gangen

Begynd med moderate batches af repræsentative dokumenter. Øg batchstørrelsen i bytes, indtil gennemløbet ikke forbedres, eller hukommelse og latenstid forværres. Juster derefter antallet af samtidige afsendere separat. Tusind små hændelser og tusind store dokumenter er meget forskellige batches.

## Et vellykket HTTP-svar kan indeholde fejlede elementer

Se dette forenklede illustrative bulk-svar:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Element a lykkedes; send det ikke igen, blot fordi et andet element fejlede.
- Undersøg fejldetaljerne for b. En midlertidig overbelastningsafvisning kræver lavere tempo og et begrænset genforsøg efter en pause.
- Undersøg også detaljerne for c. En permanent mappingfejl kræver rettelse af data eller mapping, ikke endeløse genforsøg.

## Undgå, at genforsøg bliver endnu en overbelastning

Øg genforsøgsforsinkelser gradvist, og tilføj en tilfældig forskydning, så klienter ikke alle prøver igen samtidig. Begræns køen, og sænk producenternes tempo, når den fyldes; dette er backpressure.

Efter et usikkert netværksresultat hjælper stabile dokument-ID'er med at undgå dubletter, men scriptede inkrementer og forældede opdateringer kræver ekstra sikring. Overvåg afviste skrivninger, hukommelse, disk og søgelatenstid. Reducer kun refresh-hyppigheden, hvis produktet accepterer mindre øjeblikkelig søgesynlighed.

[Officiel dokumentation](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Juster én dimension ad gangen

Et vellykket HTTP-svar kan indeholde fejlede elementer

Undgå, at genforsøg bliver endnu en overbelastning

Relaterede spørgsmål