¿Cómo acelera la indexación bulk sin sobrecargar el clúster?

Question

IT Interview Practice · Accepted Answer

Bulk envía varias operaciones de indexación en una solicitud. Mejore la tasa de operaciones exitosas manteniendo el clúster ágil, en lugar de maximizar las solicitudes enviadas.

## Ajuste una dimensión cada vez

Empiece con lotes moderados de documentos representativos. Aumente los bytes del lote hasta que el rendimiento deje de mejorar o empeoren la memoria y la latencia. Después ajuste por separado el número de emisores simultáneos. Mil eventos pequeños y mil documentos grandes son lotes muy distintos.

## Una respuesta HTTP exitosa puede contener elementos fallidos

Considere esta respuesta bulk ilustrativa simplificada:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- El elemento a tuvo éxito; no lo reenvíe solo porque otro elemento falló.
- Inspeccione los detalles del error de b. Un rechazo temporal por sobrecarga exige reducir el ritmo y un reintento limitado después de una espera.
- Inspeccione también los detalles de c. Un error permanente de mapping necesita corregir datos o mapping, no reintentos infinitos.

## Evite que los reintentos generen otra sobrecarga

Aumente progresivamente la espera entre reintentos y añada un desfase aleatorio para que los clientes no reintenten todos juntos. Limite la cola y frene a los productores cuando se llene; esto es backpressure.

Tras un resultado de red incierto, IDs de documento estables ayudan a evitar registros duplicados, pero los incrementos con scripts y las actualizaciones obsoletas necesitan protecciones adicionales. Supervise escrituras rechazadas, memoria, disco y latencia de búsqueda. Reduzca la frecuencia de refresh solo si el producto acepta una visibilidad menos inmediata en las búsquedas.

[Documentación oficial](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Ajuste una dimensión cada vez

Una respuesta HTTP exitosa puede contener elementos fallidos

Evite que los reintentos generen otra sobrecarga

Preguntas relacionadas