Kafka のアーキテクチャは、パーティション化・レプリケーションされた topic を保存する broker(サーバー)のクラスター で構成され、producer が書き込み、consumer が読み取り、メタデータ管理(歴史的には ZooKeeper、現在は KRaft)によって調整されます。アーキテクチャを理解することで、Kafka が分散システムとしてどのように機能するかが明確になります。
構成要素
BROKERS → Kafka SERVERS forming a CLUSTER:
→ store topic partitions (the data); serve producers and consumers
→ a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
→ historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
