Bagaimana replikasi berfungsi dalam Kafka?

Question

Accepted Answer

Kafka **mereplikasi** partition merentas berbilang broker untuk **ketahanan dan ketersediaan** — setiap partition mempunyai satu leader dan beberapa replika follower. Jika sesuatu broker gagal, satu follower mengambil alih. Memahami replikasi adalah kunci kepada fault tolerance Kafka.

## Bagaimana replikasi berfungsi

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## In-Sync Replicas (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Pertukaran ketahanan lwn ketersediaan

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## Mengapa ia penting

Memahami cara replikasi berfungsi dalam Kafka adalah berharga kerana ia **kunci kepada ketahanan dan ketersediaan Kafka** (fault tolerance), jadi ia penting untuk memahami dan mengendalikan Kafka secara boleh harap.

Replikasi ialah cara Kafka memastikan data tidak hilang dan kekal tersedia walaupun broker gagal.

Memahami **bagaimana replikasi berfungsi** — setiap partition direplikasi merentas broker (mengikut replication factor) dengan satu **leader** yang mengendalikan baca/tulis dan **follower** yang mereplikasinya, supaya jika broker leader gagal satu follower dinaikkan pangkat (failover, menyediakan ketersediaan berterusan tanpa kehilangan data) — menjelaskan mekanisme fault-tolerance Kafka.

Memahami **in-sync replicas (ISR)** — set replika yang menyusul dengan leader, di mana hanya replika in-sync boleh menjadi leader (memastikan leader baharu mempunyai data), dan konfigurasi ketahanan (acks=all campur min.insync.replicas) memastikan tulisan diakui hanya apabila cukup ISR mempunyai data (bertahan daripada kegagalan tanpa kehilangan) — adalah pusat kepada cara Kafka mengimbangi ketahanan dan ketersediaan, satu konsep operasi utama.

Memahami **pertukaran ketahanan lwn ketersediaan** — replication factor (lebih banyak salinan = lebih banyak fault tolerance), tetapan **acks** producer (acks=0 pantas tetapi mungkin kehilangan data, acks=1 leader sahaja, acks=all selamat tetapi lebih perlahan), dan min.insync.replicas — mencerminkan keputusan konfigurasi penting yang mengimbangi ketahanan berbanding throughput dan ketersediaan.

Pertukaran ini merupakan keputusan praktikal apabila mengendalikan Kafka: ketahanan yang lebih kuat (acks=all, lebih banyak replika, min ISR lebih tinggi) berbanding prestasi.

Memahami replikasi adalah perlu untuk mengendalikan Kafka secara boleh harap dan mengkonfigurasi jaminan ketahanan yang betul.

Memandangkan replikasi adalah kunci kepada ketahanan dan ketersediaan Kafka (fault tolerance melalui replikasi leader/follower dan failover) dan memahaminya — mekanisme, ISR, dan pertukaran ketahanan/ketersediaan (replication factor, acks, min ISR) — penting untuk mengendalikan Kafka secara boleh harap dan mengkonfigurasi jaminan yang sesuai, memahami cara replikasi berfungsi dalam Kafka merupakan pengetahuan berharga yang relevan secara praktikal — pusat kepada fault tolerance dan ketahanan Kafka, penting untuk memahami cara Kafka bertahan daripada kegagalan dan untuk mengkonfigurasi jaminan ketahanan (acks, replication factor, ISR), serta kunci kepada pengendalian Kafka secara boleh harap.