Kif tħaffef bulk indexing mingħajr tagħbija żejda fuq il-cluster?

Question

IT Interview Practice · Accepted Answer

Bulk jibgħat diversi operazzjonijiet indexing f'talba waħda. Ittejjeb ir-rata tal-operazzjonijiet li jirnexxu waqt li żżomm il-cluster reattiv, mhux timmassimizza n-numru ta' talbiet mibgħuta.

## Aġġusta dimensjoni waħda kull darba

Ibda b'batches moderati ta' documents rappreżentattivi. Żid il-bytes tal-batch sakemm it-throughput jieqaf jitjieb jew il-memorja u l-latency jmorru għall-agħar. Imbagħad aġġusta n-numru ta' senders konkorrenti separatament. Elf event żgħir u elf document kbir huma batches differenti ħafna.

## Rispons HTTP ta' suċċess jista' jkollu items falluti

Ikkunsidra dan ir-rispons bulk illustrattiv issimplifikat:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a rnexxa; terġax tibagħtu sempliċement għax item ieħor falla.
- Eżamina d-dettalji tal-iżball ta' b. Rifjut temporanju minħabba tagħbija jeħtieġ tnaqqis fil-pass u retry limitat wara dewmien.
- Eżamina wkoll id-dettalji ta' c. Żball mapping permanenti jeħtieġ korrezzjoni tad-data jew mapping, mhux retries bla tmiem.

## Tħallix retries joħolqu tagħbija ġdida

Żid id-dewmien tar-retries gradwalment u daħħal offset każwali biex il-clients ma jerġgħux jippruvaw kollha flimkien. Illimita l-kju u naqqas il-produtturi meta timtela; din hija backpressure.

Wara riżultat tan-network inċert, document IDs stabbli jgħinu jevitaw rekords doppji, iżda increments bi script u updates qodma jeħtieġu protezzjonijiet addizzjonali. Immonitorja kitbiet irrifjutati, memorja, disk u latency tat-tfittxija. Naqqas il-frekwenza tar-refresh biss jekk il-prodott jaċċetta viżibbiltà fit-tfittxija inqas immedjata.

[Dokumentazzjoni uffiċjali](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Aġġusta dimensjoni waħda kull darba

Rispons HTTP ta' suċċess jista' jkollu items falluti

Tħallix retries joħolqu tagħbija ġdida

Mistoqsijiet relatati