Bagaimanakah mempercepat bulk indexing tanpa membebankan cluster?

Question

IT Interview Practice · Accepted Answer

Bulk menghantar beberapa operasi pengindeksan dalam satu permintaan. Tingkatkan kadar operasi berjaya sambil mengekalkan cluster responsif, bukannya memaksimumkan bilangan permintaan dihantar.

## Laraskan satu dimensi pada satu masa

Mulakan dengan batch sederhana bagi document yang mewakili data sebenar. Tambah saiz byte batch sehingga throughput berhenti meningkat atau memori dan latensi merosot. Kemudian laraskan bilangan penghantar serentak secara berasingan. Seribu event kecil dan seribu document besar merupakan batch yang sangat berbeza.

## Respons HTTP berjaya boleh mengandungi item gagal

Pertimbangkan respons bulk ilustrasi yang diringkaskan ini:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a berjaya; jangan hantar semula hanya kerana item lain gagal.
- Periksa butiran ralat b. Penolakan akibat beban sementara memerlukan perlahan dan retry terhad selepas jeda.
- Periksa juga butiran c. Ralat mapping kekal memerlukan pembetulan data atau mapping, bukan retry tanpa henti.

## Elakkan retry menjadi beban baharu

Tambah jeda retry secara beransur-ansur dan sertakan anjakan rawak supaya klien tidak mencuba semula serentak. Hadkan baris gilir dan perlahankan producer apabila penuh; inilah backpressure.

Selepas hasil rangkaian yang tidak pasti, ID document stabil membantu mengelakkan rekod pendua, tetapi increment berskrip dan update lapuk memerlukan perlindungan tambahan. Pantau penulisan ditolak, memori, disk dan latensi carian. Kurangkan kekerapan refresh hanya jika produk menerima keterlihatan carian yang kurang segera.

[Dokumentasi rasmi](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Laraskan satu dimensi pada satu masa

Respons HTTP berjaya boleh mengandungi item gagal

Elakkan retry menjadi beban baharu

Soalan berkaitan