Bagaimana producer dan consumer berfungsi dalam Kafka?

Question

Accepted Answer

**Producer** menerbitkan (menulis) event ke topic Kafka, dan **consumer** melanggan (membaca) event daripadanya. Memahami cara ia berfungsi — termasuk partitioning, offset, dan consumer group — adalah asas untuk menggunakan Kafka.

## Producer — menulis event

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumer — membaca event

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer group (utama untuk penskalaan)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Mengapa ia penting

Memahami cara producer dan consumer berfungsi adalah asas kerana ia merupakan **cara data mengalir masuk dan keluar dari Kafka**, jadi ia perlu untuk menggunakan Kafka.

Producer menulis event dan consumer membacanya — aliran data asas.

Memahami **producer** — menerbitkan event ke topic, dengan **key menentukan partition** (key sama pergi ke partition sama untuk susunan, tiada key mengagihkan secara round-robin), mengkonfigurasi acknowledgment untuk ketahanan, dan batching untuk throughput — merangkumi cara data masuk ke Kafka.

Memahami **consumer** — membaca event sambil menjejak **offset** mereka (kedudukan) untuk menyambung semula dari tempat mereka berhenti, membaca mengikut kadar mereka sendiri kerana event dikekalkan, mampu **replay** dari sebarang offset, dan commit offset untuk merekod kemajuan — merangkumi cara data dibaca, termasuk keupayaan replay tersendiri Kafka.

Yang paling penting, memahami **consumer group** adalah perlu untuk model penskalaan Kafka: consumer bekerjasama di mana **setiap partition digunakan oleh satu consumer dalam group** (membolehkan pemprosesan selari, penskalaan dengan menambah consumer sehingga bilangan partition), dengan **rebalancing** automatik jika sesuatu consumer gagal (fault tolerance), manakala **consumer group yang berbeza masing-masing membaca semua event secara bebas** (membolehkan pub/sub di mana berbilang group masing-masing mendapat keseluruhan stream).

Model consumer-group ini adalah asas kepada cara Kafka menskala penggunaan dan menyokong kedua-dua corak seperti baris gilir (dalam satu group) dan pub/sub (merentas group).

Memandangkan producer dan consumer ialah cara data mengalir masuk dan keluar dari Kafka, dan memandangkan memahami cara kerjanya — partitioning, offset, replay, dan terutamanya consumer group (kunci kepada penskalaan dan dualiti baris gilir/pub-sub) — adalah perlu untuk menggunakan Kafka, memahami cara producer dan consumer berfungsi merupakan pengetahuan asas Kafka yang penting — asas kepada aliran data dalam Kafka, dengan consumer group menjadi amat penting untuk memahami model penskalaan dan penggunaan Kafka, serta perlu untuk sesiapa yang menggunakan Kafka.