Kaip paspartinti bulk indeksavimą neperkraunant klasterio?

Question

IT Interview Practice · Accepted Answer

Bulk siunčia kelias indeksavimo operacijas vienoje užklausoje. Gerinkite sėkmingų operacijų dažnį, išlaikydami klasterio reagavimą, o ne maksimalų siunčiamų užklausų skaičių.

## Vienu metu derinkite vieną matmenį

Pradėkite nuo nedidelių būdingų dokumentų paketų. Didinkite paketo baitus, kol pralaidumas nebegerėja arba blogėja atmintis ir delsa. Tada atskirai derinkite vienalaikių siuntėjų skaičių. Tūkstantis mažų įvykių ir tūkstantis didelių dokumentų yra labai skirtingi paketai.

## Sėkmingame HTTP atsakyme gali būti nepavykusių elementų

Apsvarstykite šį supaprastintą iliustracinį bulk atsakymą:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Elementas a pavyko; nesiųskite jo iš naujo vien dėl kito elemento klaidos.
- Patikrinkite b klaidos detales. Laikinas perkrovos atmetimas reikalauja lėtinimo ir riboto retry po pauzės.
- Patikrinkite ir c detales. Nuolatinė mapping klaida reikalauja duomenų ar mapping pataisos, ne begalinių retry.

## Neleiskite retry tapti kita perkrova

Palaipsniui ilginkite retry pauzes ir pridėkite atsitiktinį poslinkį, kad klientai nekartotų kartu. Ribokite eilę ir jai užsipildžius lėtinkite producer – tai backpressure.

Po neaiškaus tinklo rezultato stabilūs dokumentų ID padeda išvengti dublikatų, bet script didinimams ir pasenusiems update reikia papildomų apsaugų. Stebėkite atmestus įrašymus, atmintį, diską ir paieškos delsą. Refresh dažnį mažinkite tik jei produktas leidžia ne tokį greitą duomenų matomumą paieškoje.

[Oficiali dokumentacija](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Vienu metu derinkite vieną matmenį

Sėkmingame HTTP atsakyme gali būti nepavykusių elementų

Neleiskite retry tapti kita perkrova

Susiję klausimai