Kafka에서 메시지를 어떻게 생산하고 소비합니까(기본 사용법)?

Question

Accepted Answer

기본 Kafka 사용법은 topic에 메시지를 **생산(produce)**하고 이를 **소비(consume)**하는 것으로, 일반적으로 클라이언트 라이브러리(Java, Python 등)를 통해 이루어집니다. 기본 produce/consume 흐름을 이해하는 것이 Kafka 사용의 실용적 출발점입니다.

## 메시지 생산

```js
// Kafka 클라이언트 사용(예: Node용 KafkaJS)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key가 partition을 결정(같은 key → 같은 partition → 순서 보장)
  ],
});
// → 'orders' topic에 메시지를 발행
```

## 메시지 소비

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // 메시지 처리...
    // offset은 자동 commit됨(또는 제어를 위해 수동 commit)
  },
});
```

## 핵심 실용 사항

```text
✓ 언어에 맞는 클라이언트 LIBRARY 사용(Java, KafkaJS, confluent-kafka-python 등)
✓ Producer: 순서/partitioning을 위한 KEY 설정; 내구성을 위한 acks 구성
✓ Consumer: GROUP ID 사용; group이 partition을 분배; offset commit
✓ SERIALIZATION 처리(JSON, Avro, Protobuf) — 구조화 데이터에는 종종 schema registry
✓ 오류, 재시도 처리; 멱등하게 처리(at-least-once → 중복 가능)
```

## 왜 중요한가

기본 produce/consume 사용법을 이해하는 것은 가치 있습니다. 이는 **Kafka 사용의 실용적 출발점**이므로 Kafka 작업에 필요한 실전 지식이기 때문입니다.

메시지를 생산하고 소비하는 방법을 아는 것은 애플리케이션에서 Kafka를 사용하는 기본 기술입니다.

**메시지 생산**(producer를 연결하고 topic에 레코드(key, value)를 전송하며 **key가 partitioning과 순서를 결정**)을 이해하는 것이 기본 쓰기 작업입니다.

**메시지 소비**(**group ID**로 consumer를 연결하고 topic을 구독하며 메시지를 처리, offset을 자동 또는 수동으로 commit)를 이해하는 것이 기본 읽기 작업으로, consumer group이 소비를 확장하는 방식입니다.

**핵심 실용 사항**(언어에 맞는 클라이언트 라이브러리 사용, producer에서 순서를 위한 key 설정과 내구성을 위한 acks 구성, consumer에서 group ID 사용과 offset commit, **serialization** 처리(JSON, Avro, Protobuf, 종종 schema registry 사용), 오류·재시도·**멱등 처리**(at-least-once 전달은 중복 가능을 의미))를 이해하는 것은 실제 Kafka 사용을 위한 실용적 고려 사항을 반영합니다.

이 실용 사항(key, group, serialization, 멱등성)은 개념적 지식(partition, consumer group, 전달 의미론)을 실제 코드와 연결합니다.

메시지 생산과 소비는 애플리케이션에서 Kafka를 사용하는 기본 실용 기술이며 기본 흐름과 실용 사항(key, group, serialization, 멱등성)을 이해하는 것이 필요한 실전 지식이므로, 기본 Kafka produce/consume 사용법을 이해하는 것은 가치 있고 실용적으로 관련된 지식입니다.