consumer group は、Kafka における スケーラブルで耐障害性のあるコンシューム の仕組みです――group 内の consumer が topic の partition をコンシュームする作業を分担し、自動リバランスを行います。これらを深く理解することは、スケーラブルな Kafka consumer を構築する上で鍵となります。
consumer group がどのように作業を分担するか
A CONSUMER GROUP = consumers cooperating to consume a topic:
→ each PARTITION is assigned to exactly ONE consumer in the group (at a time)
→ partitions are distributed across the group's consumers → PARALLEL consumption
→ e.g. 6 partitions, 3 consumers → 2 partitions each
→ scale consumption by adding consumers (UP TO the partition count — extra consumers idle)
