Kafka 的整体架构是什么？

Question

Kafka 的整体架构是什么？

Accepted Answer

Kafka 的架构由一个**代理集群**（服务器）组成，存储分区、复制的主题，**生产者**写入数据，**消费者**读取数据，由元数据管理协调（历史上是 ZooKeeper，现在是 KRaft）。理解架构可以阐明 Kafka 作为分布式系统的工作方式。

## 组件

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## 为了耐久性和可用性的复制

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## 它们如何协同工作

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## 为什么这很重要

理解 Kafka 的整体架构是有价值的，因为它**阐明了 Kafka 作为分布式系统的工作方式**，所以这是使用 Kafka 的基础知识。

Kafka 是一个分布式系统，理解其架构说明了它如何实现可扩展性、耐久性和可用性。

理解**组件** — **代理**（形成集群的 Kafka 服务器，存储分区并为客户端服务，分配数据和负载）、分布在代理中的主题/分区、生产者写入和消费者读取，以及**协调**（元数据和集群管理，历史上通过 ZooKeeper，现在越来越多地通过 **KRaft** — Kafka 自己的内置共识，消除了 ZooKeeper 的依赖） — 阐明了系统的各个部分。

理解**为了耐久性和可用性的复制**特别重要：分区**跨代理复制**（每个分区有一个处理读写的**领导者**和复制它的**追随者**），所以如果一个领导者失败，追随者会接管（可用性），**复制因子**决定了有多少份副本在不丢失数据的情况下能够承受故障（耐久性），**同步副本**确保耐久性保证。

这种复制机制是 Kafka 实现容错和耐久性的方式 — 这是其可靠性的关键。

理解**它们如何协同工作**（生产者写入分区领导者，复制到追随者，消费者读取，所有内容都经过协调）提供了 Kafka 作为分布式、复制、可扩展系统的完整图景。

这种架构理解说明了 Kafka 如何传递其关键属性（通过分布式分区代理实现可扩展性，通过复制实现耐久性和可用性）。

由于 Kafka 是分布式系统，理解其架构（代理、具有领导者/追随者的复制、协调）说明了它如何实现可扩展性、耐久性和可用性，并且由于这是使用 Kafka 的基础，理解 Kafka 的整体架构是有价值的、基础性的知识 — 阐明 Kafka 作为分布式、复制系统（代理、用于容错的复制、协调）的工作方式，说明它如何传递其关键属性，是理解和操作 Kafka 的基础。