Apakah seni bina keseluruhan Kafka?

Question

Accepted Answer

Seni bina Kafka terdiri daripada **cluster broker** (pelayan) yang menyimpan topic yang dipartition dan direplikasi, dengan **producer** menulis dan **consumer** membaca, diselaraskan oleh pengurusan metadata (dahulunya ZooKeeper, kini KRaft). Memahami seni bina menjelaskan cara Kafka berfungsi sebagai sistem teragih.

## Komponen-komponen

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## Replikasi untuk ketahanan dan ketersediaan

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## Bagaimana ia berfungsi bersama

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## Mengapa ia penting

Memahami seni bina keseluruhan Kafka adalah berharga kerana ia **menjelaskan cara Kafka berfungsi sebagai sistem teragih**, jadi ia merupakan pengetahuan asas untuk bekerja dengan Kafka.

Kafka ialah sistem teragih, dan memahami seni binanya menjelaskan cara ia mencapai kebolehskalaan, ketahanan, dan ketersediaannya.

Memahami **komponen-komponen** — **broker** (pelayan Kafka yang membentuk cluster yang menyimpan partition dan melayani klien, mengagihkan data dan beban), topic/partition yang diagihkan merentas broker, producer menulis dan consumer membaca, serta **penyelarasan** (pengurusan metadata dan cluster, dahulunya melalui ZooKeeper, kini semakin melalui **KRaft** — konsensus terbina dalam Kafka sendiri yang membuang kebergantungan ZooKeeper) — menjelaskan bahagian-bahagian sistem.

Memahami **replikasi untuk ketahanan dan ketersediaan** amat penting: partition **direplikasi merentas broker** (setiap satu dengan **leader** yang mengendalikan baca/tulis dan **follower** yang mereplikasinya), jadi jika sesuatu leader gagal satu follower mengambil alih (ketersediaan), dengan **replication factor** menentukan berapa banyak salinan yang bertahan daripada kegagalan tanpa kehilangan data (ketahanan), dan **in-sync replicas** memastikan jaminan ketahanan.

Mekanisme replikasi ini ialah cara Kafka mencapai fault tolerance dan ketahanan — kunci kepada kebolehharapnya.

Memahami **bagaimana ia berfungsi bersama** (producer menulis ke leader partition, direplikasi ke follower, consumer membaca, semuanya diselaraskan) memberikan gambaran lengkap tentang Kafka sebagai sistem teragih, direplikasi, dan berskala.

Pemahaman seni bina ini menjelaskan cara Kafka menyampaikan sifat utamanya (kebolehskalaan melalui broker yang dipartition dan teragih, ketahanan dan ketersediaan melalui replikasi).

Memandangkan Kafka ialah sistem teragih dan memahami seni binanya (broker, replikasi dengan leader/follower, penyelarasan) menjelaskan cara ia mencapai kebolehskalaan, ketahanan, dan ketersediaan, dan memandangkan ini asas untuk bekerja dengan Kafka, memahami seni bina keseluruhan Kafka merupakan pengetahuan asas yang berharga — menjelaskan cara Kafka berfungsi sebagai sistem teragih dan direplikasi (broker, replikasi untuk fault tolerance, penyelarasan), menerangkan cara ia menyampaikan sifat utamanya, dan asas untuk memahami serta mengendalikan Kafka.