您如何在Kafka中生成和消费消息（基本用法）？

Question

Accepted Answer

基本的Kafka使用涉及**生成**消息到主题和**消费**它们——通常通过客户端库（Java、Python等）。理解基本的produce/consume流程是使用Kafka的实践入门点。

## 生成消息

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## 消费消息

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## 关键实践点

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## 为什么这很重要

理解基本的produce/consume用法很有价值，因为它是**使用Kafka的实践入门点**，因此是与Kafka一起工作必要的实践知识。

知道如何生成和消费消息是使用Kafka的基础技能。

理解**生成消息**——连接producer并将记录（key、value）发送到主题，**key决定分区和顺序**——是基本的写操作。

理解**消费消息**——使用**group ID**连接consumer、订阅主题以及处理消息（offset自动或手动提交）——是基本的读操作，其中consumer group是消费如何扩展的方式。

理解**关键实践点**——为您的语言使用客户端库（Java、KafkaJS、Python等），设置key用于顺序并在producer上配置acks以确保持久性，在consumer上使用group ID和提交offset，处理**序列化**（JSON、Avro、Protobuf，通常与schema registry一起用于结构化数据），以及处理错误、重试和**幂等处理**（因为至少一次交付意味着可能的重复）——反映了真实Kafka使用的实践考虑。

这些实践点（key、group、序列化、幂等性）将概念知识（分区、consumer group、交付语义）与实际代码连接起来。

由于生成和消费消息是在应用程序中使用Kafka的基础实践技能，并且由于理解基本流程和实践点（key、group、序列化、幂等性）是必要的实践知识，因此理解基本Kafka produce/consume用法是有价值的、实践相关的知识——使用Kafka的实践入门点、将概念与代码相连接，以及对任何实际使用Kafka构建应用程序的人来说都是必要的。