Bagaimana mempercepat bulk indexing tanpa membebani cluster berlebihan?

Question

IT Interview Practice · Accepted Answer

Bulk mengirim beberapa operasi pengindeksan dalam satu permintaan. Tingkatkan laju operasi berhasil sambil menjaga cluster responsif, bukan memaksimalkan jumlah permintaan terkirim.

## Sesuaikan satu dimensi setiap kali

Mulai dengan batch kecil document yang representatif. Tingkatkan ukuran byte batch sampai throughput tidak membaik lagi atau memori dan latensi memburuk. Lalu sesuaikan jumlah pengirim bersamaan secara terpisah. Seribu event kecil sangat berbeda dari seribu document besar.

## Respons HTTP berhasil dapat memuat item gagal

Perhatikan respons bulk ilustratif yang disederhanakan ini:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a berhasil; jangan kirim ulang hanya karena item lain gagal.
- Periksa rincian kesalahan b. Penolakan karena kelebihan beban sementara mengharuskan perlambatan dan retry terbatas setelah jeda.
- Periksa rincian c juga. Kesalahan mapping permanen membutuhkan koreksi data atau mapping, bukan retry tanpa akhir.

## Cegah retry menjadi sumber kelebihan beban baru

Perpanjang jeda retry secara bertahap dan tambahkan selisih acak agar klien tidak mencoba ulang bersamaan. Batasi antrean dan perlambat produsen ketika penuh; inilah backpressure.

Setelah hasil jaringan tidak pasti, ID document yang stabil membantu menghindari rekaman duplikat, tetapi increment lewat script dan update usang membutuhkan perlindungan tambahan. Pantau penulisan ditolak, memori, disk, dan latensi pencarian. Kurangi frekuensi refresh hanya jika produk menerima visibilitas pencarian yang tidak secepat sebelumnya.

[Dokumentasi resmi](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Sesuaikan satu dimensi setiap kali

Respons HTTP berhasil dapat memuat item gagal

Cegah retry menjadi sumber kelebihan beban baru

Pertanyaan terkait