Cum accelerezi indexarea bulk fără să suprasoliciți clusterul?

Question

IT Interview Practice · Accepted Answer

Bulk trimite mai multe operații de indexare într-o cerere. Îmbunătățește rata operațiilor reușite păstrând clusterul receptiv, nu maximizând numărul cererilor trimise.

## Ajustează o dimensiune odată

Începe cu loturi moderate de documente reprezentative. Mărește octeții per lot până când debitul nu mai crește sau memoria și latența se înrăutățesc. Apoi ajustează separat numărul emițătorilor concurenți. O mie de evenimente mici și o mie de documente mari sunt loturi foarte diferite.

## Un răspuns HTTP reușit poate conține elemente eșuate

Consideră acest răspuns bulk ilustrativ simplificat:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Elementul a a reușit; nu îl retrimite doar fiindcă alt element a eșuat.
- Inspectează detaliile erorii lui b. O respingere temporară de suprasarcină cere încetinire și o reîncercare limitată după o pauză.
- Inspectează și detaliile lui c. O eroare permanentă de mapping necesită corectarea datelor sau mappingului, nu reîncercări nesfârșite.

## Nu transforma reîncercările într-o nouă suprasarcină

Mărește progresiv întârzierile și adaugă o variație aleatoare ca să nu reîncerce toți clienții simultan. Limitează coada și încetinește producătorii când se umple; acesta este backpressure.

După un rezultat de rețea incert, ID-urile stabile ajută la evitarea duplicatelor, dar incrementările prin script și actualizările învechite necesită protecții suplimentare. Monitorizează scrierile respinse, memoria, discul și latența căutărilor. Redu frecvența refresh numai dacă produsul acceptă vizibilitate mai puțin imediată în căutare.

[Documentație oficială](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Ajustează o dimensiune odată

Un răspuns HTTP reușit poate conține elemente eșuate

Nu transforma reîncercările într-o nouă suprasarcină

Întrebări conexe