Как ускорить bulk-индексацию, не перегружая кластер?

Question

IT Interview Practice · Accepted Answer

Bulk отправляет несколько операций индексирования одним запросом. Улучшайте скорость успешных операций, сохраняя отзывчивость кластера, вместо максимизации числа отправленных запросов.

## Настраивайте по одному параметру

Начните с умеренных пакетов характерных документов. Увеличивайте размер пакета в байтах, пока пропускная способность перестанет расти или ухудшатся память и задержка. Затем отдельно настройте число параллельных отправителей. Тысяча маленьких событий и тысяча больших документов — совершенно разные пакеты.

## Успешный HTTP-ответ может содержать неудачные элементы

Рассмотрим упрощённый пример bulk-ответа:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Элемент a выполнен; не отправляйте его повторно лишь из-за сбоя другого.
- Изучите ошибку b. Временный отказ из-за перегрузки требует замедления и ограниченного повтора после задержки.
- Изучите и c. Постоянная ошибка mapping требует исправить данные или mapping, а не бесконечно повторять.

## Не превращайте повторы в новую перегрузку

Постепенно увеличивайте задержку повторов и добавляйте случайное смещение, чтобы клиенты не повторяли одновременно. Ограничьте очередь и замедляйте производителей при заполнении; это backpressure.

После неопределённого сетевого результата стабильные ID документов помогают избежать дублей, но скриптовые инкременты и устаревшие обновления требуют дополнительных защит. Наблюдайте отклонённые записи, память, диск и поисковую задержку. Уменьшайте частоту refresh только если продукт допускает менее немедленную видимость в поиске.

[Официальная документация](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Настраивайте по одному параметру

Успешный HTTP-ответ может содержать неудачные элементы

Не превращайте повторы в новую перегрузку

Похожие вопросы