클러스터를 과부하 없이 bulk indexing을 빠르게 하려면?

Question

IT Interview Practice · Accepted Answer

Bulk는 여러 색인 연산을 한 요청으로 보냅니다. 보내는 요청 수를 최대화하기보다 클러스터 응답성을 유지하면서 성공한 연산의 속도를 높입니다.

## 한 번에 한 요소 조정하기

대표 문서의 적당한 batch로 시작합니다. 처리량 개선이 멈추거나 메모리와 지연 시간이 악화될 때까지 batch 바이트를 늘립니다. 그다음 동시 전송자 수를 따로 조정합니다. 작은 이벤트 천 개와 큰 문서 천 개는 매우 다른 batch입니다.

## 성공 HTTP 응답에도 실패 항목이 있을 수 있습니다

단순화한 bulk 응답 예시를 살펴봅니다.

```json
{
  "errors": true,
  "items": [
    {"index":{"_id":"a","status":201}},
    {"index":{"_id":"b","status":429}},
    {"index":{"_id":"c","status":400}}
  ]
}
```

- 항목 a는 성공했습니다. 다른 항목이 실패했다는 이유만으로 재전송하지 않습니다.
- b의 오류 상세를 확인합니다. 일시적 과부하 거절이라면 속도를 낮추고 지연 후 제한된 재시도를 합니다.
- c의 상세도 확인합니다. 영구적인 매핑 오류는 데이터나 매핑 수정이 필요하며 무한 retry로 해결되지 않습니다.

## 재시도가 또 다른 과부하가 되지 않게 하기

retry 지연을 점진적으로 늘리고 무작위 차이를 추가해 클라이언트가 동시에 재시도하지 않게 합니다. 큐를 제한하고 가득 차면 producer를 늦춥니다. 이것이 backpressure입니다.

네트워크 결과가 불확실한 후에는 안정적인 문서 ID가 중복 방지에 도움이 되지만, 스크립트 증가 연산과 오래된 업데이트에는 추가 보호가 필요합니다. 거절된 쓰기, 메모리, 디스크, 검색 지연 시간을 관찰합니다. 제품이 검색 반영 지연을 허용할 때만 refresh 빈도를 줄입니다.

[공식 문서](https://www.elastic.co/docs/deploy-manage/production-guidance/optimize-performance/indexing-speed).

한 번에 한 요소 조정하기

성공 HTTP 응답에도 실패 항목이 있을 수 있습니다

관련 질문

재시도가 또 다른 과부하가 되지 않게 하기