Como acelerar a indexação bulk sem sobrecarregar o cluster?

Question

IT Interview Practice · Accepted Answer

Bulk envia várias operações de indexação em uma requisição. Melhore a taxa de operações bem-sucedidas mantendo o cluster responsivo, em vez de maximizar a quantidade de requisições enviadas.

## Ajuste uma dimensão por vez

Comece com lotes moderados de documentos representativos. Aumente os bytes por lote até a vazão parar de melhorar ou memória e latência piorarem. Depois ajuste separadamente o número de emissores concorrentes. Mil eventos pequenos e mil documentos grandes são lotes muito diferentes.

## Uma resposta HTTP bem-sucedida pode conter itens com falha

Considere esta resposta bulk ilustrativa simplificada:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- O item a foi concluído; não o reenvie só porque outro item falhou.
- Examine os detalhes do erro de b. Uma rejeição temporária por sobrecarga pede redução de ritmo e uma nova tentativa limitada após uma espera.
- Examine também os detalhes de c. Um erro permanente de mapping exige corrigir dados ou mapping, não repetir sem fim.

## Evite que as tentativas causem outra sobrecarga

Aumente progressivamente o intervalo entre tentativas e adicione uma variação aleatória para que os clientes não tentem todos juntos. Limite a fila e desacelere os produtores quando ela encher; isso é backpressure.

Após um resultado de rede incerto, IDs estáveis de documento ajudam a evitar duplicatas, mas incrementos por script e atualizações antigas exigem proteções adicionais. Monitore escritas rejeitadas, memória, disco e latência de busca. Reduza a frequência de refresh somente se o produto aceitar menor imediatismo na visibilidade das buscas.

[Documentação oficial](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Ajuste uma dimensão por vez

Uma resposta HTTP bem-sucedida pode conter itens com falha

Evite que as tentativas causem outra sobrecarga

Perguntas relacionadas