Kafka 中的生产者和消费者是如何工作的？

Question

Accepted Answer

**生产者**向 Kafka 主题发布（写入）事件，**消费者**订阅（读取）来自这些主题的事件。理解它们的工作原理——包括分区、偏移量和消费者组——是使用 Kafka 的基础。

## 生产者——写入事件

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## 消费者——读取事件

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## 消费者组（扩展的关键）

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## 为什么这很重要

理解生产者和消费者的工作原理是基础知识，因为它们是**数据进出 Kafka 的方式**，因此对于使用 Kafka 至关重要。

生产者写入事件，消费者读取事件——这是基本的数据流。

理解**生产者**——向主题发布事件，**密钥决定分区**（相同的密钥发送到相同的分区以保证顺序，没有密钥则以轮询方式分发）、配置确认以获得耐久性、以及批处理以提高吞吐量——这涵盖了数据如何进入 Kafka。

理解**消费者**——读取事件同时跟踪其**偏移量**（位置）以从中断处恢复、以自己的速度读取，因为事件被保留、能够从任何偏移量**重放**、以及提交偏移量来记录进度——这涵盖了数据如何被读取，包括 Kafka 独特的重放能力。

最重要的是，理解**消费者组**对 Kafka 的扩展模型至关重要：消费者协同工作，其中**每个分区由组中的一个消费者消费**（启用并行处理，通过添加消费者来扩展，直到达到分区数量），如果消费者故障，则自动**重新平衡**（容错），而**不同的消费者组各自独立读取所有事件**（启用发布/订阅，其中多个组各自获得完整的流）。

这种消费者组模型对 Kafka 的消费扩展和支持类队列（组内）和发布/订阅（跨组）模式是基础。

由于生产者和消费者是数据进出 Kafka 的方式，由于理解它们的工作原理——分区、偏移量、重放，特别是消费者组（扩展的关键和队列/发布-订阅的二元性）——对于使用 Kafka 至关重要，因此理解生产者和消费者的工作原理是必要的、基础的 Kafka 知识——是 Kafka 中数据流的基础，消费者组对于理解 Kafka 的扩展和消费模型特别重要，对于任何使用 Kafka 的人都是必需的。