Kafka에서 producer와 consumer는 어떻게 작동합니까?

Question

Accepted Answer

**producer**는 Kafka topic에 이벤트를 발행(쓰기)하고, **consumer**는 topic에서 이벤트를 구독(읽기)합니다. partitioning, offset, consumer group을 포함하여 이들이 어떻게 작동하는지 이해하는 것은 Kafka 사용의 기본입니다.

## Producer — 이벤트 쓰기

```text
PRODUCER는 TOPIC에 이벤트를 발행:
  → 레코드(key, value)를 topic에 전송
  → key가 PARTITION을 결정(같은 key → 같은 partition → 해당 key의 순서 보장);
    key 없음 → 분산(라운드 로빈)
  → 내구성을 위한 ACKNOWLEDGMENT(acks) 구성 가능(replica 확인 대기)
  → 처리량을 위한 배치, 압축
```

## Consumer — 이벤트 읽기

```text
CONSUMER는 topic을 구독하고 이벤트를 읽음:
  → partition에서 읽으며 자신의 OFFSET(위치)을 추적 → 멈춘 지점부터 재개
  → 자신의 속도로 읽음(이벤트가 보존됨); 어떤 offset에서든 다시 읽기(재생) 가능
  → 진행 상황을 기록하기 위해 offset을 COMMIT(재시작 시 재처리 방지)
```

## Consumer group (확장의 핵심)

```text
CONSUMER GROUP → topic을 함께 소비하는 consumer들:
  → 각 partition은 group 내 한 consumer가 소비 → 병렬 처리
    (group의 consumer들에 partition 분배)
  → consumer 추가(partition 수까지)로 소비 확장
  → consumer가 실패하면 그 partition이 다른 consumer로 REBALANCE됨(내결함성)
DIFFERENT GROUPS → 각 group은 모든 이벤트를 독립적으로 읽음(pub/sub: 여러 group이
  각각 전체 스트림을 받음)
```

## 왜 중요한가

producer와 consumer가 어떻게 작동하는지 이해하는 것은 기본적입니다. 이들은 **데이터가 Kafka에 드나드는 방식**이므로 Kafka 사용에 필수적이기 때문입니다.

producer는 이벤트를 쓰고 consumer는 읽습니다 — 기본 데이터 흐름입니다.

**producer**(topic에 이벤트 발행, **key가 partition을 결정**, 내구성을 위한 acknowledgment 구성, 처리량을 위한 배치)를 이해하는 것은 데이터가 Kafka에 들어오는 방식을 다룹니다.

**consumer**(자신의 **offset**(위치)을 추적하며 이벤트를 읽어 멈춘 지점부터 재개, 이벤트가 보존되므로 자신의 속도로 읽기, 어떤 offset에서든 **재생** 가능, 진행 상황을 기록하기 위해 offset commit)를 이해하는 것은 Kafka의 독특한 재생 기능을 포함하여 데이터를 읽는 방식을 다룹니다.

가장 중요하게, **consumer group**을 이해하는 것은 Kafka의 확장 모델에 필수적입니다. consumer들이 함께 작동하며 **각 partition을 group 내 한 consumer가 소비**(병렬 처리 가능, partition 수까지 consumer를 추가하여 확장)하고, consumer가 실패하면 자동 **rebalancing**(내결함성)이 일어나며, **서로 다른 consumer group은 각각 모든 이벤트를 독립적으로 읽습니다**(여러 group이 각각 전체 스트림을 받는 pub/sub 가능).

이 consumer group 모델은 Kafka가 소비를 확장하고 큐형(group 내)과 pub/sub형(group 간) 패턴을 모두 지원하는 방식의 기본입니다.

producer와 consumer는 데이터가 Kafka에 드나드는 방식이며, 그 작동(partitioning, offset, 재생, 특히 consumer group)을 이해하는 것이 Kafka 사용에 필수적이므로, producer와 consumer가 어떻게 작동하는지 이해하는 것은 필수적인 기초 Kafka 지식입니다.