Si përshpejtoni indeksimin bulk pa mbingarkuar cluster-in?

Question

IT Interview Practice · Accepted Answer

Bulk dërgon disa operacione indeksimi në një kërkesë. Përmirësoni ritmin e operacioneve të suksesshme duke e mbajtur cluster-in reagues, jo duke maksimizuar kërkesat e dërguara.

## Rregulloni një dimension çdo herë

Filloni me batch-e mesatare dokumentesh përfaqësuese. Rritni bajtet për batch derisa throughput-i të mos përmirësohet ose kujtesa dhe vonesa të përkeqësohen. Pastaj rregulloni veçmas numrin e dërguesve njëkohësisht. Një mijë event-e të vogla dhe një mijë dokumente të mëdha janë batch-e shumë të ndryshme.

## Një përgjigje HTTP e suksesshme mund të përmbajë elemente të dështuara

Merrni këtë përgjigje bulk ilustruese të thjeshtuar:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Elementi a pati sukses; mos e ridërgoni vetëm sepse dështoi një tjetër.
- Shqyrtoni hollësitë e gabimit të b. Refuzimi i përkohshëm nga mbingarkesa kërkon ngadalësim dhe riprovim të kufizuar pas pritjes.
- Shqyrtoni edhe c. Gabimi i përhershëm mapping kërkon korrigjim të dhënash ose mapping-u, jo riprovime të pafundme.

## Mos lejoni që riprovimet të bëhen mbingarkesë tjetër

Rritni gradualisht vonesat dhe shtoni devijim të rastësishëm që klientët të mos riprovojnë njëkohësisht. Kufizoni radhën dhe ngadalësoni prodhuesit kur mbushet; ky është backpressure.

Pas një rezultati të pasigurt rrjeti, ID-të e qëndrueshme të dokumenteve ndihmojnë kundër dublikatave, por rritjet me script dhe përditësimet e vjetruara kërkojnë mbrojtje shtesë. Monitoroni shkrimet e refuzuara, kujtesën, diskun dhe vonesën e kërkimit. Ulni shpeshtësinë e refresh-it vetëm nëse produkti pranon dukshmëri më pak të menjëhershme në kërkim.

[Dokumentacioni zyrtar](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Rregulloni një dimension çdo herë

Një përgjigje HTTP e suksesshme mund të përmbajë elemente të dështuara

Mos lejoni që riprovimet të bëhen mbingarkesë tjetër

Pyetje të ngjashme