Unaharakisha bulk indexing bila kuzidisha mzigo wa cluster vipi?

Question

IT Interview Practice · Accepted Answer

Bulk hutuma operesheni nyingi za indexing katika ombi moja. Boresha kiwango cha operesheni zilizofaulu huku cluster ikiendelea kuitikia, badala ya kuongeza tu idadi ya maombi yaliyotumwa.

## Rekebisha kipimo kimoja kwa wakati

Anza na batch za wastani za document wakilishi. Ongeza byte za batch mpaka throughput isiendelee kuboreka au kumbukumbu na latency viwe vibaya. Kisha rekebisha idadi ya watumaji wa wakati mmoja tofauti. Event ndogo elfu moja na document kubwa elfu moja ni batch tofauti sana.

## Jibu la HTTP lililofaulu linaweza kuwa na item zilizoshindwa

Fikiria jibu hili rahisi la bulk la mfano:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a ilifaulu; usiitume tena kwa sababu nyingine imeshindwa.
- Kagua maelezo ya hitilafu ya b. Kukataliwa kwa muda kwa overload kunahitaji kupunguza kasi na retry yenye mpaka baada ya kusubiri.
- Kagua maelezo ya c pia. Hitilafu ya kudumu ya mapping inahitaji kurekebisha data au mapping, si retry zisizoisha.

## Zuia retry kuleta overload nyingine

Ongeza muda wa kusubiri retry hatua kwa hatua na ongeza tofauti ya nasibu ili client wasijaribu wote pamoja. Weka mpaka wa foleni na punguza kasi ya wazalishaji ikijaa; hii ni backpressure.

Baada ya matokeo ya mtandao yasiyojulikana, ID thabiti za document husaidia kuzuia duplicate, lakini increment za script na update za zamani zinahitaji kinga zaidi. Fuatilia write zilizokataliwa, kumbukumbu, disk na search latency. Punguza refresh frequency tu kama bidhaa inakubali kutokuona data mara moja kwenye search.

[Nyaraka rasmi](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Rekebisha kipimo kimoja kwa wakati

Jibu la HTTP lililofaulu linaweza kuwa na item zilizoshindwa

Zuia retry kuleta overload nyingine

Maswali yanayohusiana