Wie beschleunigen Sie Bulk-Indexierung, ohne den Cluster zu überlasten?

Question

IT Interview Practice · Accepted Answer

Bulk sendet mehrere Indexierungsoperationen in einer Anfrage. Verbessern Sie die Rate erfolgreicher Operationen und halten Sie den Cluster reaktionsfähig, statt die Zahl gesendeter Anfragen zu maximieren.

## Jeweils eine Dimension abstimmen

Beginnen Sie mit mäßig großen Batches repräsentativer Dokumente. Erhöhen Sie die Batchgröße in Bytes, bis der Durchsatz nicht mehr steigt oder Speicherbedarf und Latenz schlechter werden. Stimmen Sie danach die Zahl gleichzeitiger Sender separat ab. Tausend kleine Ereignisse und tausend große Dokumente sind sehr unterschiedliche Batches.

## Eine erfolgreiche HTTP-Antwort kann fehlgeschlagene Elemente enthalten

Betrachten Sie diese vereinfachte beispielhafte Bulk-Antwort:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Element a war erfolgreich; senden Sie es nicht erneut, nur weil ein anderes Element scheiterte.
- Prüfen Sie die Fehlerdetails von b. Eine vorübergehende Überlastungsablehnung verlangt Drosselung und einen begrenzten Wiederholungsversuch nach einer Pause.
- Prüfen Sie auch die Details von c. Ein dauerhafter Mapping-Fehler erfordert eine Korrektur der Daten oder des Mappings, keine endlosen Wiederholungen.

## Verhindern, dass Wiederholungen eine weitere Überlastung erzeugen

Vergrößern Sie die Wartezeiten zwischen Wiederholungen schrittweise und ergänzen Sie einen zufälligen Versatz, damit Clients nicht alle gleichzeitig erneut anfragen. Begrenzen Sie die Warteschlange und bremsen Sie Produzenten, wenn sie voll wird; das ist Backpressure.

Nach einem ungewissen Netzwerkergebnis helfen stabile Dokument-IDs, doppelte Datensätze zu vermeiden. Skriptbasierte Inkremente und veraltete Aktualisierungen benötigen jedoch zusätzliche Schutzmaßnahmen. Überwachen Sie abgewiesene Schreibvorgänge, Speicher, Festplatte und Suchlatenz. Reduzieren Sie die Refresh-Häufigkeit nur, wenn das Produkt eine weniger unmittelbare Sichtbarkeit in der Suche akzeptiert.

[Offizielle Dokumentation](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Jeweils eine Dimension abstimmen

Eine erfolgreiche HTTP-Antwort kann fehlgeschlagene Elemente enthalten

Verhindern, dass Wiederholungen eine weitere Überlastung erzeugen

Ähnliche Fragen