如何加快 bulk 索引而不压垮集群？

Question

如何加快 bulk 索引而不压垮集群？

IT Interview Practice · Accepted Answer

Bulk 在一个请求中发送多个索引操作。目标是在保持集群响应能力的同时提高成功操作速率，而不是最大化发送请求的数量。

## 每次调整一个维度

从包含代表性文档的适中批次开始。增加批次字节数，直到吞吐量不再提高，或内存和延迟恶化。然后单独调整并发发送者数量。一千条小事件与一千个大文档是完全不同的批次。

## HTTP 成功响应也可能包含失败项

考虑下面经过简化的 bulk 响应示例：

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- 项目 a 已成功；不要因为其他项目失败就重新提交它。
- 检查 b 的错误详情。如果是临时过载拒绝，应降低速度，并在等待后进行有上限的重试。
- 也要检查 c 的详情。永久性映射错误需要修复数据或映射，而不是无限重试。

## 不要让重试造成新的过载

逐步增加重试等待时间，并加入随机偏移，避免客户端同时重试。限制队列长度，队列满时让生产者减速，这就是背压。

网络结果不明确时，稳定的文档 ID 有助于避免重复记录，但脚本递增和旧更新还需要额外保护。监控被拒写入、内存、磁盘和搜索延迟。只有产品接受搜索可见性不那么即时，才降低 refresh 频率。

[官方文档](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

每次调整一个维度

HTTP 成功响应也可能包含失败项

相关问题

不要让重试造成新的过载