Kafkaでメッセージを生成・消費する方法は？（基本的な使い方）

Question

Accepted Answer

Kafkaの基本的な使い方は、**メッセージを生成**してトピックに送信し、**これを消費する**ことを含みます。通常、クライアントライブラリ（Java、Python等）経由で行います。基本的な生成・消費フローを理解することは、Kafkaを使用するための実践的な入り口です。

## メッセージの生成

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## メッセージの消費

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## 重要な実践的なポイント

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## なぜ重要なのか

基本的な生成・消費の使い方を理解することは価値があります。なぜなら、これは**Kafkaを使用するための実践的な入り口**であり、Kafkaを扱うために必要な実践的な知識だからです。

メッセージの生成と消費の方法を知ることは、アプリケーションでKafkaを使用するための基本的なスキルです。

**メッセージの生成**を理解すること — プロデューサーに接続し、レコード（キー、値）をトピックに送信する。**キーがパーティショニングと順序付けを決定する** — これが基本的な書き込み操作です。

**メッセージの消費**を理解すること — **グループIDで**コンシューマーに接続し、トピックをサブスクライブして、メッセージを処理する（オフセットは自動または手動でコミット） — これが基本的な読み取り操作です。コンシューマーグループが消費をスケールさせる方法です。

**重要な実践的なポイント**を理解すること — あなたの言語用のクライアントライブラリを使用する（Java、KafkaJS、Python等）、順序付けのためにキーを設定し、プロデューサーの永続性のためにacksを設定する、コンシューマーではグループIDを使用しオフセットをコミットする、**シリアライゼーション**を処理する（JSON、Avro、Protobuf。構造化データのためにはスキーマレジストリを使用することが多い）、エラー、リトライ、**べき等処理**を処理する（少なくとも1回の配信のため重複の可能性がある） — これは実際のKafka使用に対する実践的な考慮事項を反映しています。

これらの実践的なポイント（キー、グループ、シリアライゼーション、べき等性）は、概念的知識（パーティション、コンシューマーグループ、配信セマンティクス）を実際のコードに結び付けます。

メッセージの生成と消費がアプリケーションでKafkaを使用するための基本的な実践的スキルであり、基本的なフローと実践的なポイント（キー、グループ、シリアライゼーション、べき等性）を理解することが必要な実践的知識であるため、基本的なKafkaの生成・消費使用法を理解することは価値がある、実践的に関連性のある知識です — Kafkaを使用するための実践的な入り口であり、概念をコードに結び付け、実際にKafkaでアプリケーションを構築する誰もが必要とする知識です。