Comment accélérer l'indexation bulk sans surcharger le cluster ?

Question

IT Interview Practice · Accepted Answer

Bulk envoie plusieurs opérations d'indexation dans une requête. Améliorez le rythme des opérations réussies tout en gardant le cluster réactif, plutôt que de maximiser le nombre de requêtes envoyées.

## Régler une dimension à la fois

Commencez avec des lots modestes de documents représentatifs. Augmentez leur taille en octets jusqu'à ce que le débit cesse de progresser ou que mémoire et latence se dégradent. Réglez ensuite séparément le nombre d'émetteurs simultanés. Mille petits événements et mille gros documents sont des lots très différents.

## Une réponse HTTP réussie peut contenir des éléments en échec

Considérez cette réponse bulk illustrative simplifiée :

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- L'élément a a réussi ; ne le renvoyez pas simplement parce qu'un autre a échoué.
- Examinez les détails d'erreur de b. Un rejet temporaire pour surcharge demande de ralentir et de réessayer de façon bornée après un délai.
- Examinez aussi les détails de c. Une erreur de mapping permanente exige une correction des données ou du mapping, pas des tentatives sans fin.

## Éviter que les nouvelles tentatives créent une autre surcharge

Augmentez progressivement les délais de nouvelle tentative et ajoutez un décalage aléatoire pour que les clients ne réessaient pas tous ensemble. Bornez la file et ralentissez les producteurs lorsqu'elle se remplit : c'est la backpressure.

Après un résultat réseau incertain, des ID de document stables aident à éviter les doublons, mais les incréments scriptés et les mises à jour périmées exigent des protections supplémentaires. Surveillez les écritures rejetées, la mémoire, le disque et la latence de recherche. Réduisez la fréquence du refresh seulement si le produit accepte une visibilité moins immédiate en recherche.

[Documentation officielle](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Régler une dimension à la fois

Une réponse HTTP réussie peut contenir des éléments en échec

Éviter que les nouvelles tentatives créent une autre surcharge

Questions connexes