Apakah konsep teras Kafka (topic, partition, broker)?

Question

Accepted Answer

Konsep teras Kafka termasuk **topic** (kategori event), **partition** (unit keselarian dalam topic), **broker** (pelayan), **producer** (menulis), dan **consumer** (membaca). Memahami konsep ini adalah asas untuk bekerja dengan Kafka.

## Konsep teras

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partition dan offset

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## Bagaimana ia bergabung

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## Mengapa ia penting

Memahami konsep teras Kafka adalah penting kerana **topic, partition, broker, producer, dan consumer merupakan blok binaan Kafka**, jadi menguasainya adalah perlu untuk sebarang kerja Kafka.

Konsep-konsep ini membentuk asas tentang cara Kafka berfungsi.

Memahami **topic** (kategori/aliran event bernama yang producer menulis kepadanya dan consumer membaca daripadanya) merupakan konsep pengorganisasian asas.

Memahami **partition** amat penting: topic dibahagikan kepada partition (log tersusun dan append-only) yang merupakan **unit keselarian dan penskalaan**, dengan sifat penting bahawa **susunan dijamin dalam satu partition tetapi tidak merentas partition** — konsep utama yang mempengaruhi cara Kafka berskala dan menyusun event.

Memahami **broker** (pelayan Kafka, membentuk cluster), **producer** (menulis event), dan **consumer** (membaca event) melengkapkan seni bina asas.

Memahami **partition dan offset** — setiap partition merupakan urutan tersusun yang tidak boleh ubah di mana event mempunyai **offset** (kedudukan), consumer menjejak offset mereka untuk menyambung semula dan replay, event dikekalkan supaya consumer membaca mengikut kadar mereka sendiri, dan **partition key** menentukan partition mana sesuatu event pergi (key sama → partition sama → susunan untuk key itu) — adalah perlu untuk memahami model data dan jaminan susunan Kafka.

Memahami **bagaimana ia bergabung** (producer menulis ke topic/partition yang disimpan pada broker yang direplikasi, consumer membaca sambil menjejak offset) memberikan gambaran lengkap.

Konsep-konsep ini ialah perbendaharaan kata dan mekanik Kafka yang segala-galanya lain dibina atasnya.

Memandangkan topic, partition, broker, producer, consumer, dan offset merupakan blok binaan asas Kafka (dengan partition dan susunan menjadi konsep yang amat penting), dan memandangkan memahaminya adalah perlu untuk sebarang kerja Kafka, memahami konsep teras Kafka merupakan pengetahuan asas yang penting — blok binaan Kafka yang perlu untuk bekerja dengannya, pusat kepada pemahaman cara Kafka mengorganisasi, menskala, menyusun, dan menyimpan event, serta asas untuk semua topik Kafka.