Kepiye nyepetake bulk indexing tanpa kakehan mbebani cluster?

Question

IT Interview Practice · Accepted Answer

Bulk ngirim sawetara operasi indexing ing siji panjaluk. Apikake laju operasi kasil nalika cluster tetep responsif, dudu mung nggedhekake jumlah panjaluk sing dikirim.

## Atur siji dimensi saben wektu

Miwiti nganggo batch cilik document sing makili data nyata. Tambah byte batch nganti throughput ora tambah apik utawa memori lan latensi saya elek. Banjur atur jumlah pangirim bebarengan kanthi kapisah. Sewu event cilik lan sewu document gedhe iku batch sing beda banget.

## Respons HTTP kasil bisa ngemot item gagal

Gatekna respons bulk tuladha sing disederhanakake iki:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a kasil; aja dikirim maneh mung amarga item liyane gagal.
- Priksa rincian kesalahan b. Penolakan amarga kakehan beban sementara butuh alon lan retry winates sawise tundha.
- Priksa rincian c uga. Kesalahan mapping permanen butuh ndandani data utawa mapping, dudu retry tanpa entek.

## Aja nganti retry dadi beban anyar

Tambah wektu tundha retry kanthi bertahap lan wenehi selisih acak supaya klien ora bebarengan nyoba maneh. Watesi antrean lan alonake producer nalika kebak; iki backpressure.

Sawise asil jaringan ora mesthi, ID document ajeg mbantu nyingkiri rekaman dobel, nanging increment nganggo script lan update lawas butuh pangayoman tambahan. Pantau tulisan ditolak, memori, disk, lan latensi telusuran. Kurangi frekuensi refresh mung yen produk bisa nampa data telusuran katon luwih telat.

[Dokumentasi resmi](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Atur siji dimensi saben wektu

Respons HTTP kasil bisa ngemot item gagal

Aja nganti retry dadi beban anyar

Pitakon sing gegandhengan