consumer group은 자세히 어떻게 작동합니까?

Question

Accepted Answer

**consumer group**은 Kafka의 **확장 가능하고 내결함성 있는 소비** 메커니즘으로, group 내 consumer들이 topic의 partition 소비 작업을 자동 rebalancing과 함께 분담합니다. 이를 깊이 이해하는 것이 확장 가능한 Kafka consumer를 구축하는 열쇠입니다.

## consumer group이 작업을 분배하는 방식

```text
CONSUMER GROUP = topic을 소비하기 위해 협력하는 consumer들:
  → 각 PARTITION은 group 내 정확히 한 consumer에게 할당됨(한 번에)
  → partition이 group의 consumer들에 분배됨 → PARALLEL 소비
  → 예: 6개 partition, 3개 consumer → 각 2개 partition
→ consumer 추가로 소비 확장(partition 수까지 — 초과 consumer는 유휴)
```

## Rebalancing

```text
REBALANCING → group 멤버십이 바뀔 때 partition 재분배:
  → consumer가 JOIN(확장) 또는 LEAVE/FAIL(축소/크래시) → 현재 consumer들 사이에서
    partition 재할당
  → 내결함성(실패한 consumer의 partition이 다른 consumer로) 및 탄력성 제공
  ⚠️ rebalance 동안 소비가 잠시 중단됨(비용); 잦은 rebalance는 해로움
    → 불필요한 rebalance 최소화; 최신 프로토콜이 영향 감소(cooperative rebalancing)
```

## group, partition, pub/sub

```text
→ group 내 → partition이 분할됨(큐형: 각 메시지를 group 내 한 consumer가 처리)
→ 여러 group → 각 group이 독립적으로 모든 이벤트를 읽음(pub/sub: 모든 group이 전체 스트림)
→ 따라서 Kafka는 둘 다 지원: 큐 의미론(group 내) AND pub/sub(group 간)
→ partition 수가 group 병렬성을 제한 → 확장 필요에 맞게 partition 계획
```

## 왜 중요한가

consumer group을 자세히 이해하는 것은 가치 있습니다. 이는 **Kafka의 확장 가능하고 내결함성 있는 소비 메커니즘**으로 실제 Kafka consumer 구축의 중심이므로 중요한 지식이기 때문입니다.

consumer group은 Kafka가 확장 가능하고 회복력 있는 소비를 달성하는 방식이며, 이를 깊이 이해하는 것이 Kafka를 효과적으로 사용하는 열쇠입니다.

**consumer group이 작업을 분배하는 방식**(각 partition이 group 내 정확히 한 consumer에게 할당, partition이 group의 consumer들에 분배되어 병렬 소비, partition 수까지 consumer를 추가하여 확장, 초과 consumer는 유휴)을 이해하면 Kafka가 소비를 확장하는 방식과 partition 수가 group 병렬성을 제한하는 중요한 한계를 알 수 있습니다.

**rebalancing**(group 멤버십이 바뀔 때 partition 재분배, **내결함성**과 탄력성 제공)을 이해하는 것이 중요하며, **rebalancing이 소비를 잠시 중단시킨다**(비용)는 중요한 주의점도 함께, 따라서 잦은 rebalance는 성능을 해치므로 최소화해야 합니다(최신 cooperative rebalancing이 영향 감소).

이 rebalancing 동작은 핵심 운영 고려 사항입니다.

**group, partition, pub/sub**(group 내에서는 partition이 분할되어 큐형, 여러 group은 각각 독립적으로 모든 이벤트를 읽어 pub/sub, 따라서 Kafka가 둘 다 지원, partition 수가 group 병렬성을 제한)을 이해하는 것은 Kafka의 유연한 소비 모델을 이해하고 topic을 설계하는 데 필수적입니다.

consumer group에 대한 이 깊은 이해(작업 분배, rebalancing, 큐/pub-sub 이중성, partition 수 한계)가 확장 가능하고 회복력 있는 Kafka consumer를 구축하게 합니다.

consumer group은 Kafka의 확장 가능하고 내결함성 있는 소비 메커니즘(실제 Kafka 사용의 중심)이며 이를 깊이(작업 분배, rebalancing과 그 비용, 큐/pub-sub 이중성, partition 수 한계) 이해하는 것이 효과적인 consumer 구축의 열쇠이므로, consumer group을 자세히 이해하는 것은 가치 있고 실용적으로 중요한 Kafka 지식입니다.