Bagaimana cara kerja producers dan consumers di Kafka?

Question

Accepted Answer

**Producers** menerbitkan (menulis) events ke topic Kafka, dan **consumers** berlangganan (membaca) events dari topic tersebut. Memahami cara kerjanya — termasuk partitioning, offsets, dan consumer groups — adalah fundamental untuk menggunakan Kafka.

## Producers — menulis events

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumers — membaca events

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer groups (kunci untuk scaling)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Mengapa ini penting

Memahami cara kerja producers dan consumers adalah fundamental karena mereka adalah **bagaimana data mengalir masuk dan keluar dari Kafka**, jadi sangat penting untuk menggunakan Kafka.

Producers menulis events dan consumers membacanya — aliran data dasar.

Memahami **producers** — menerbitkan events ke topics, dengan **key menentukan partition** (key yang sama masuk ke partition yang sama untuk ordering, tanpa key didistribusikan round-robin), mengkonfigurasi acknowledgments untuk durability, dan batching untuk throughput — mencakup cara data masuk ke Kafka.

Memahami **consumers** — membaca events sambil melacak **offset** mereka (posisi) untuk melanjutkan dari mana mereka berhenti, membaca dengan pace mereka sendiri karena events disimpan, mampu **replay** dari offset apa pun, dan commit offsets untuk merekam progress — mencakup cara data dibaca, termasuk kemampuan replay yang khas dari Kafka.

Yang paling penting, memahami **consumer groups** adalah essential untuk model scaling Kafka: consumers bekerja bersama di mana **setiap partition dikonsumsi oleh satu consumer di group** (memungkinkan parallel processing, scaling dengan menambah consumers hingga partition count), dengan **rebalancing** otomatis jika consumer gagal (fault tolerance), sementara **consumer groups yang berbeda masing-masing membaca semua events secara independen** (memungkinkan pub/sub di mana multiple groups masing-masing mendapatkan full stream).

Model consumer-group ini adalah fundamental untuk cara Kafka melakukan scaling consumption dan mendukung pola queue-like (dalam group) dan pub/sub (across groups).

Karena producers dan consumers adalah cara data mengalir masuk dan keluar dari Kafka, dan karena memahami cara kerjanya — partitioning, offsets, replay, dan especially consumer groups (kunci untuk scaling dan queue/pub-sub duality) — adalah essential untuk menggunakan Kafka, memahami cara kerja producers dan consumers adalah essential, foundational Kafka knowledge — fundamental untuk data flow di Kafka, dengan consumer groups sangat penting untuk memahami model scaling dan consumption Kafka, dan necessary untuk siapa pun yang menggunakan Kafka.