Kako pospešiti bulk-indeksiranje brez preobremenitve gruče?

Question

IT Interview Practice · Accepted Answer

Bulk v eni zahtevi pošlje več operacij indeksiranja. Povečujte hitrost uspešnih operacij ob ohranjanju odzivnosti gruče, ne le števila poslanih zahtev.

## Prilagajajte eno dimenzijo naenkrat

Začnite z zmernimi paketi reprezentativnih dokumentov. Povečujte bajte paketa, dokler se prepustnost ne neha izboljševati ali se pomnilnik in zakasnitev poslabšata. Nato ločeno nastavite število sočasnih pošiljateljev. Tisoč majhnih dogodkov in tisoč velikih dokumentov sta zelo različna paketa.

## Uspešen odgovor HTTP lahko vsebuje neuspele elemente

Poglejte ta poenostavljen ponazoritveni bulk-odgovor:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Element a je uspel; ne pošljite ga znova samo zato, ker je drug element odpovedal.
- Preglejte podrobnosti napake b. Začasna zavrnitev zaradi preobremenitve zahteva upočasnitev in omejen ponovni poskus po zamiku.
- Preglejte tudi podrobnosti c. Trajna mapping-napaka potrebuje popravek podatkov ali mappinga, ne neskončnih poskusov.

## Naj ponovni poskusi ne ustvarijo nove preobremenitve

Zamike postopno povečujte in dodajte naključni odmik, da odjemalci ne poskušajo vsi hkrati. Omejite vrsto in ob polnitvi upočasnite proizvajalce; to je backpressure.

Po nejasnem omrežnem izidu stabilni ID-ji dokumentov pomagajo preprečiti podvojene zapise, toda skriptni prirastki in zastarele posodobitve potrebujejo dodatno zaščito. Spremljajte zavrnjena pisanja, pomnilnik, disk in zakasnitev iskanja. Refresh redčite le, če izdelek sprejme manj takojšnjo vidnost iskanja.

[Uradna dokumentacija](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Prilagajajte eno dimenzijo naenkrat

Uspešen odgovor HTTP lahko vsebuje neuspele elemente

Naj ponovni poskusi ne ustvarijo nove preobremenitve

Povezana vprašanja