배치와 압축은 어떻게 Kafka 처리량을 향상시킵니까?

Question

Accepted Answer

**배치**(메시지 그룹화)와 **압축**(데이터 압축)은 높은 Kafka **처리량**을 위한 핵심 기법입니다 — 메시지당 오버헤드와 네트워크/저장 비용을 줄임. 이를 이해하면 Kafka의 높은 성능을 달성하는 데 도움이 됩니다.

## 배치 — 메시지 그룹화

```text
BATCHING → producer가 전송 전에 여러 메시지를 하나의 BATCH로 그룹화:
  → 많은 작은 요청 대신 더 적고 큰 요청 → 훨씬 높은 THROUGHPUT(요청당 오버헤드 감소,
    네트워크 왕복 감소)
  → 제어: batch.size(배치 크기 한도) + linger.ms(배치 축적 대기 시간)
  → 트레이드오프: 약간 높은 LATENCY(배치 대기) 대 훨씬 높은 처리량
→ 배치는 고처리량 생산에 필수적
```

## 압축 — 배치 압축

```text
COMPRESSION → 전송 전에 메시지 배치 압축(그리고 압축된 채로 저장):
  → 압축 유형: snappy, lz4, zstd(빠름), gzip(높은 비율, 느림)
  → 이점: 네트워크 대역폭 감소, broker 저장 감소, 종종 더 높은 처리량
    (전송할 데이터 감소가 CPU 비용을 능가)
  → 배치가 잘 압축됨(더 많은 데이터 → 더 나은 비율) → 배치 + 압축이 함께 작동
  → consumer가 압축 해제; broker는 압축 저장(종단 간 효율적)
```

## 함께 사용하기

```text
→ batch.size + linger.ms → 배치 축적 → 압축 → 효율적 전송
→ 결과: 작은 비압축 메시지 전송 대비 극적으로 높은 처리량
→ 처리량/지연/CPU 균형을 위해 배치 크기/linger와 압축 유형 튜닝
→ 주요 producer 측 처리량 레버(내구성을 위한 acks와 함께)
```

## 왜 중요한가

배치와 압축이 처리량을 어떻게 향상시키는지 이해하는 것은 가치 있습니다. 이들은 **높은 Kafka 성능을 위한 핵심 기법**이므로 Kafka의 처리량을 달성하는 데 관련된 지식이기 때문입니다.

Kafka는 매우 높은 처리량을 달성하며, 배치와 압축이 그 방법의 중심입니다.

**배치**(producer가 전송 전에 여러 메시지를 하나의 배치로 그룹화(많은 작은 요청 대신 더 적고 큰 요청으로 요청당 오버헤드와 네트워크 왕복을 줄여 처리량을 극적으로 증가), batch.size와 linger.ms로 제어, 약간 높은 지연 대 훨씬 높은 처리량의 트레이드오프)를 이해하면 기본 처리량 기법이 명확해집니다.

**압축**(메시지 배치 압축(속도를 위한 snappy, lz4, zstd나 높은 비율을 위한 gzip), 네트워크 대역폭과 broker 저장을 줄이고 종종 처리량 증가(전송할 데이터 감소가 CPU 비용을 능가), 배치가 잘 압축되므로(더 많은 데이터, 더 나은 비율) 배치와 압축이 함께 작동)을 이해하면 또 다른 핵심 기법이 명확해집니다.

**함께 사용하기**(배치 축적, 압축, 효율적 전송으로 작은 비압축 메시지 대비 처리량을 극적으로 증가, 처리량/지연/CPU 균형을 위해 배치 크기, linger, 압축 유형 튜닝)를 이해하면 이 기법들이 주요 producer 측 처리량 레버로 결합되는 방식을 알 수 있습니다.

이 기법들은 고처리량 Kafka 생산에 필수적이며 이를(배치의 지연 비용 같은 트레이드오프 포함) 이해하는 것이 성능 튜닝에 중요합니다.

배치와 압축은 높은 Kafka 처리량을 위한 핵심 기법(메시지당 오버헤드와 네트워크/저장 비용 감소)이고 작동 방식, 트레이드오프, 결합 방식을 이해하는 것이 Kafka의 높은 성능 달성에 관련되므로, 배치와 압축이 처리량을 어떻게 향상시키는지 이해하는 것은 가치 있고 실용적으로 관련된 지식입니다.