Apa saja konsep inti Kafka (topics, partitions, brokers)?

Question

Accepted Answer

Konsep inti Kafka mencakup **topics** (kategori events), **partitions** (unit paralelisme dalam topics), **brokers** (server-servernya), **producers** (menulis), dan **consumers** (membaca). Memahami konsep-konsep ini adalah fundamental untuk bekerja dengan Kafka.

## Konsep inti

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions dan offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## Bagaimana semuanya cocok bersama

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## Mengapa ini penting

Memahami konsep inti Kafka adalah fundamental karena **topics, partitions, brokers, producers, dan consumers adalah building blocks dari Kafka**, jadi menguasai konsep-konsep ini adalah penting untuk setiap pekerjaan dengan Kafka.

Konsep-konsep ini membentuk fondasi cara Kafka bekerja.

Memahami **topics** (kategori/streams events bernama yang producers tulis ke dan consumers baca dari) adalah konsep dasar pengorganisasian.

Memahami **partitions** sangat penting: topics dibagi menjadi partitions (ordered, append-only logs) yang merupakan **unit paralelisme dan scaling**, dengan properti krusial bahwa **urutan dijamin dalam satu partition tetapi tidak dijamin lintas partitions** — konsep kunci yang mempengaruhi bagaimana Kafka scale dan mengurutkan events.

Memahami **brokers** (Kafka servers, membentuk cluster), **producers** (menulis events), dan **consumers** (membaca events) melengkapi arsitektur dasar.

Memahami **partitions dan offsets** — setiap partition adalah sequence ordered immutable dimana events punya **offsets** (posisi), consumers melacak offset mereka untuk resume dan replay, events dipertahankan sehingga consumers membaca dengan kecepatan mereka sendiri, dan **partition key** menentukan partition mana sebuah event masuk (kunci sama → partition sama → ordering untuk kunci itu) — adalah essential untuk memahami data model Kafka dan ordering guarantees.

Memahami **bagaimana semuanya cocok bersama** (producers menulis ke topics/partitions disimpan di replicated brokers, consumers membaca sambil melacak offsets) memberikan gambaran lengkap.

Konsep-konsep ini adalah vocabulary dan mechanics Kafka yang semuanya lainnya dibangun di atas.

Karena topics, partitions, brokers, producers, consumers, dan offsets adalah fundamental building blocks dari Kafka (dengan partitions dan ordering menjadi konsep terutama penting), dan karena memahami mereka adalah essential untuk setiap pekerjaan Kafka, memahami konsep inti Kafka adalah essential, foundational knowledge — building blocks Kafka yang diperlukan untuk bekerja dengannya, central untuk memahami bagaimana Kafka mengorganisir, scale, mengurutkan, dan menyimpan events, dan fondasi untuk semua topik Kafka.