เร่ง bulk indexing โดยไม่ทำให้ cluster โหลดเกินอย่างไร?

Question

IT Interview Practice · Accepted Answer

Bulk ส่งหลายงาน indexing ในคำขอเดียว เพิ่มอัตรางานที่สำเร็จพร้อมรักษาการตอบสนองของ cluster แทนการเพิ่มจำนวนคำขอที่ส่งให้มากที่สุด

## ปรับทีละมิติ

เริ่มด้วย batch ขนาดพอเหมาะของ document ตัวแทน เพิ่มไบต์ต่อ batch จน throughput ไม่ดีขึ้นหรือหน่วยความจำและ latency แย่ลง แล้วค่อยปรับจำนวนผู้ส่งพร้อมกันแยก เหตุการณ์เล็กหนึ่งพันรายการกับ document ใหญ่หนึ่งพันรายการเป็น batch ที่ต่างกันมาก

## HTTP ตอบสำเร็จอาจมีรายการที่ล้มเหลว

พิจารณาคำตอบ bulk ตัวอย่างแบบย่อนี้:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- รายการ a สำเร็จ อย่าส่งใหม่เพียงเพราะรายการอื่นล้มเหลว
- ดูรายละเอียดข้อผิดพลาด b การปฏิเสธเพราะโหลดเกินชั่วคราวต้องลดความเร็วและ retry แบบจำกัดหลังรอ
- ดูรายละเอียด c ด้วย Mapping ผิดแบบถาวรต้องแก้ข้อมูลหรือ mapping ไม่ใช่ retry ไม่จบ

## อย่าให้ retry กลายเป็นโหลดเกินอีกครั้ง

เพิ่มเวลารอ retry ทีละขั้นและใส่ความเหลื่อมแบบสุ่มเพื่อไม่ให้ไคลเอนต์ retry พร้อมกัน จำกัดคิวและลดความเร็วผู้ผลิตเมื่อคิวเต็ม นี่คือ backpressure

หลังผลเครือข่ายไม่แน่ชัด document ID คงที่ช่วยเลี่ยงระเบียนซ้ำ แต่การเพิ่มค่าด้วย script และ update เก่าต้องป้องกันเพิ่มเติม ติดตามการเขียนที่ถูกปฏิเสธ หน่วยความจำ ดิสก์และ latency ค้นหา ลดความถี่ refresh เฉพาะเมื่อผลิตภัณฑ์ยอมให้ข้อมูลไม่ปรากฏค้นหาทันทีมากเท่าเดิม

[เอกสารทางการ](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

ปรับทีละมิติ

HTTP ตอบสำเร็จอาจมีรายการที่ล้มเหลว

อย่าให้ retry กลายเป็นโหลดเกินอีกครั้ง

คำถามที่เกี่ยวข้อง