Hur snabbar du upp bulkindexering utan att överbelasta klustret?

Question

IT Interview Practice · Accepted Answer

Bulk skickar flera indexeringsoperationer i en förfrågan. Förbättra takten av lyckade operationer medan klustret fortsätter svara, i stället för att maximera antalet skickade förfrågningar.

## Justera en dimension i taget

Börja med måttliga batcher av representativa dokument. Öka batchstorleken i byte tills genomströmningen slutar förbättras eller minne och latens försämras. Justera därefter antalet samtidiga avsändare separat. Tusen små händelser och tusen stora dokument är mycket olika batcher.

## Ett lyckat HTTP-svar kan innehålla misslyckade poster

Titta på detta förenklade bulkexempelsvar:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Post a lyckades; skicka inte om den bara för att en annan post misslyckades.
- Granska feldetaljerna för b. En tillfällig avvisning på grund av överbelastning kräver lägre takt och ett begränsat återförsök efter väntan.
- Granska också c. Ett permanent mappingfel kräver korrigering av data eller mapping, inte oändliga återförsök.

## Låt inte återförsök skapa ny överbelastning

Öka väntetiderna gradvis och lägg till en slumpmässig förskjutning så att klienter inte försöker igen samtidigt. Begränsa kön och bromsa producenterna när den fylls; detta är backpressure.

Efter ett osäkert nätverksutfall hjälper stabila dokument-ID:n att undvika dubletter, men skriptade ökningar och föråldrade uppdateringar kräver ytterligare skydd. Övervaka avvisade skrivningar, minne, disk och söklatens. Minska refresh-frekvensen bara om produkten accepterar mindre omedelbar synlighet i sökning.

[Officiell dokumentation](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Justera en dimension i taget

Ett lyckat HTTP-svar kan innehålla misslyckade poster

Låt inte återförsök skapa ny överbelastning

Relaterade frågor