Tăng tốc bulk indexing mà không làm cluster quá tải thế nào?

Question

IT Interview Practice · Accepted Answer

Bulk gửi nhiều thao tác lập chỉ mục trong một request. Hãy tăng số thao tác thành công trong khi cluster vẫn đáp ứng tốt, thay vì tối đa số request gửi đi.

## Điều chỉnh từng yếu tố một

Bắt đầu bằng batch vừa phải với document đại diện. Tăng số byte của batch đến khi thông lượng không tăng hoặc bộ nhớ và độ trễ xấu đi. Sau đó mới chỉnh riêng số bên gửi đồng thời. Một nghìn sự kiện nhỏ khác rất nhiều một nghìn document lớn.

## Response HTTP thành công vẫn có thể chứa item lỗi

Xem response bulk minh họa đã rút gọn này:

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- Item a thành công; không gửi lại chỉ vì item khác lỗi.
- Xem chi tiết lỗi của b. Nếu bị từ chối tạm thời do quá tải, cần giảm tốc và retry có giới hạn sau một khoảng chờ.
- Cũng xem chi tiết của c. Lỗi mapping lâu dài cần sửa dữ liệu hoặc mapping, không phải retry mãi.

## Không để retry tạo thêm quá tải

Tăng dần thời gian chờ và thêm độ lệch ngẫu nhiên để client không cùng retry một lúc. Giới hạn hàng đợi và làm bên tạo dữ liệu chậm lại khi đầy; đó là backpressure.

Khi lỗi mạng khiến chưa rõ kết quả, ID document ổn định giúp tránh bản ghi trùng, nhưng phép tăng bằng script và cập nhật cũ cần bảo vệ thêm. Theo dõi lần ghi bị từ chối, bộ nhớ, đĩa và độ trễ tìm kiếm. Chỉ giảm tần suất refresh khi sản phẩm chấp nhận dữ liệu xuất hiện chậm hơn trong tìm kiếm.

[Tài liệu chính thức](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

Điều chỉnh từng yếu tố một

Response HTTP thành công vẫn có thể chứa item lỗi

Không để retry tạo thêm quá tải

Câu hỏi liên quan