Jak przyspieszyć bulk indexing bez przeciążania klastra?

Question

IT Interview Practice · Accepted Answer

Bulk wysyła wiele operacji indeksowania w jednym żądaniu. Zwiększaj liczbę skutecznych operacji przy zachowaniu responsywności klastra, zamiast maksymalizować liczbę wysyłanych żądań.

## Strojenie jednego wymiaru naraz

Zacznij od umiarkowanych paczek reprezentatywnych dokumentów. Zwiększaj bajty paczki, dopóki przepustowość nie przestanie rosnąć albo pamięć i opóźnienia się nie pogorszą. Następnie osobno dobierz liczbę równoległych nadawców. Tysiąc małych zdarzeń i tysiąc dużych dokumentów to bardzo różne paczki.

## Udana odpowiedź HTTP może zawierać nieudane elementy

Rozważ uproszczony przykładowy wynik bulk:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Element a się udał; nie wysyłaj go ponownie tylko dlatego, że inny zawiódł.
- Sprawdź szczegóły błędu b. Tymczasowe odrzucenie przeciążeniowe wymaga zwolnienia i ograniczonego ponowienia po opóźnieniu.
- Sprawdź też c. Trwały błąd mappingu wymaga poprawy danych lub mappingu, nie nieskończonych ponowień.

## Nie pozwól, aby ponowienia stworzyły kolejne przeciążenie

Stopniowo zwiększaj opóźnienia i dodawaj losowy odstęp, aby klienci nie ponawiali jednocześnie. Ogranicz kolejkę i spowalniaj producentów, gdy się zapełnia; to backpressure.

Po niepewnym wyniku sieciowym stabilne ID dokumentów pomagają uniknąć duplikatów, lecz inkrementacje skryptowe i stare aktualizacje wymagają dodatkowych zabezpieczeń. Monitoruj odrzucone zapisy, pamięć, dysk i opóźnienia wyszukiwania. Zmniejsz częstotliwość refresh tylko wtedy, gdy produkt akceptuje mniej natychmiastową widoczność danych.

[Oficjalna dokumentacja](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Strojenie jednego wymiaru naraz

Udana odpowiedź HTTP może zawierać nieudane elementy

Nie pozwól, aby ponowienia stworzyły kolejne przeciążenie

Powiązane pytania