Apa itu arsitektur keseluruhan Kafka?

Question

Accepted Answer

Arsitektur Kafka terdiri dari **cluster brokers** (server) yang menyimpan topik terppartisi dan terreplikasi, dengan **producers** menulis dan **consumers** membaca, dikoordinasikan oleh manajemen metadata (secara historis ZooKeeper, sekarang KRaft). Memahami arsitektur ini menjelaskan bagaimana Kafka bekerja sebagai sistem terdistribusi.

## Komponen-komponen

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## Replikasi untuk durabilitas dan ketersediaan

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## Bagaimana semuanya bekerja bersama

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## Mengapa ini penting

Memahami arsitektur keseluruhan Kafka bernilai karena **menjelaskan bagaimana Kafka bekerja sebagai sistem terdistribusi**, sehingga merupakan pengetahuan fundamental untuk bekerja dengan Kafka.

Kafka adalah sistem terdistribusi, dan memahami arsitekturnya menjelaskan bagaimana ia mencapai skalabilitas, durabilitas, dan ketersediaannya.

Memahami **komponen-komponen** — **brokers** (server Kafka yang membentuk cluster yang menyimpan partisi dan melayani klien, mendistribusikan data dan beban), topik/partisi didistribusikan di seluruh brokers, producers menulis dan consumers membaca, dan **koordinasi** (manajemen metadata dan cluster, secara historis melalui ZooKeeper, sekarang semakin melalui **KRaft** — konsensus bawaan Kafka sendiri yang menghilangkan ketergantungan ZooKeeper) — memperjelas bagian-bagian dari sistem.

Memahami **replikasi untuk durabilitas dan ketersediaan** sangat penting: partisi **direplikasi di seluruh brokers** (masing-masing dengan **leader** menangani baca/tulis dan **followers** mereplikasinya), sehingga jika leader gagal follower mengambil alih (ketersediaan), dengan **replication factor** menentukan berapa banyak salinan yang bertahan dari kegagalan tanpa kehilangan data (durabilitas), dan **in-sync replicas** memastikan jaminan durabilitas.

Mekanisme replikasi ini adalah bagaimana Kafka mencapai fault tolerance dan durabilitas — kunci untuk keandalannya.

Memahami **bagaimana semuanya bekerja bersama** (producers menulis ke partition leaders, direplikasi ke followers, consumers membaca, semuanya dikoordinasikan) memberikan gambaran lengkap dari Kafka sebagai sistem terdistribusi, terreplikasi, dan skalabel.

Pemahaman arsitektural ini menjelaskan bagaimana Kafka memberikan sifat-sifat kuncinya (skalabilitas melalui brokers terdistribusi terppartisi, durabilitas dan ketersediaan melalui replikasi).

Karena Kafka adalah sistem terdistribusi dan memahami arsitekturnya (brokers, replikasi dengan leaders/followers, koordinasi) menjelaskan bagaimana ia mencapai skalabilitas, durabilitas, dan ketersediaan, dan karena ini fundamental untuk bekerja dengan Kafka, memahami arsitektur keseluruhan Kafka adalah pengetahuan yang bernilai dan fundamental — menjelaskan bagaimana Kafka bekerja sebagai sistem terdistribusi dan terreplikasi (brokers, replikasi untuk fault tolerance, koordinasi), menjelaskan bagaimana ia memberikan sifat-sifat kuncinya, dan fundamental untuk memahami dan mengoperasikan Kafka.