Come acceleri il bulk indexing senza sovraccaricare il cluster?

Question

IT Interview Practice · Accepted Answer

Bulk invia più operazioni di indicizzazione in una richiesta. Migliora il ritmo delle operazioni riuscite mantenendo reattivo il cluster, invece di massimizzare il numero di richieste inviate.

## Regola una dimensione alla volta

Parti da batch moderati di documenti rappresentativi. Aumenta i byte del batch finché il throughput non migliora più o memoria e latenza peggiorano. Poi regola separatamente il numero di mittenti concorrenti. Mille eventi piccoli e mille documenti grandi sono batch molto diversi.

## Una risposta HTTP riuscita può contenere elementi falliti

Considera questa risposta bulk illustrativa semplificata:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- L'elemento a è riuscito: non reinviarlo solo perché un altro è fallito.
- Esamina i dettagli dell'errore di b. Un rifiuto per sovraccarico temporaneo richiede rallentamento e retry limitato dopo un'attesa.
- Esamina anche i dettagli di c. Un errore permanente di mapping richiede correzione dei dati o del mapping, non retry infiniti.

## Evita che i retry creino altro sovraccarico

Aumenta progressivamente le attese dei retry e aggiungi uno scostamento casuale per evitare tentativi simultanei dei client. Limita la coda e rallenta i produttori quando si riempie: questa è la backpressure.

Dopo un esito di rete incerto, ID documento stabili aiutano a evitare duplicati, ma incrementi tramite script e aggiornamenti obsoleti richiedono protezioni aggiuntive. Monitora scritture rifiutate, memoria, disco e latenza di ricerca. Riduci la frequenza di refresh solo se il prodotto accetta una visibilità in ricerca meno immediata.

[Documentazione ufficiale](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Regola una dimensione alla volta

Una risposta HTTP riuscita può contenere elementi falliti

Evita che i retry creino altro sovraccarico

Domande correlate