Kako ubrzati bulk indeksiranje bez preopterećenja klastera?

Question

IT Interview Practice · Accepted Answer

Bulk šalje više operacija indeksiranja u jednom zahtjevu. Poboljšajte stopu uspješnih operacija uz odzivan klaster, umjesto maksimiziranja broja poslanih zahtjeva.

## Podešavajte jednu dimenziju odjednom

Počnite s umjerenim grupama reprezentativnih dokumenata. Povećavajte broj bajtova grupe dok propusnost ne prestane rasti ili se memorija i latencija pogoršaju. Zatim zasebno podesite broj istodobnih pošiljatelja. Tisuću malih događaja i tisuću velikih dokumenata vrlo su različite grupe.

## Uspješan HTTP odgovor može sadržavati neuspjele stavke

Razmotrite ovaj pojednostavljeni ilustrativni bulk odgovor:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Stavka a uspjela je; ne šaljite je ponovno samo zato što je druga stavka zakazala.
- Pregledajte detalje pogreške b. Privremeno odbijanje zbog preopterećenja traži usporavanje i ograničeni ponovni pokušaj nakon odgode.
- Pregledajte i detalje c. Trajna mapping pogreška treba ispravak podataka ili mappinga, a ne beskrajno ponavljanje.

## Spriječite da ponavljanja postanu novo preopterećenje

Postupno povećavajte odgodu ponavljanja i dodajte nasumični pomak kako klijenti ne bi svi pokušali ponovno zajedno. Ograničite red i usporite proizvođače kad se napuni; to je backpressure.

Nakon neizvjesnog mrežnog ishoda stabilni ID-jevi dokumenata pomažu izbjeći duplikate, ali skriptirana uvećanja i zastarjela ažuriranja trebaju dodatne zaštite. Pratite odbijena zapisivanja, memoriju, disk i latenciju pretrage. Smanjite učestalost refresha samo ako proizvod prihvaća manje neposrednu vidljivost u pretrazi.

[Službena dokumentacija](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Podešavajte jednu dimenziju odjednom

Uspješan HTTP odgovor može sadržavati neuspjele stavke

Spriječite da ponavljanja postanu novo preopterećenje

Povezana pitanja