แนวคิดหลักของ Kafka มีอะไรบ้าง (topic, partition, broker)?

Question

Accepted Answer

แนวคิดหลักของ Kafka ประกอบด้วย **topic** (หมวดหมู่ของ event), **partition** (หน่วยของการทำงานแบบขนานภายใน topic), **broker** (เซิร์ฟเวอร์), **producer** (เขียน) และ **consumer** (อ่าน) การเข้าใจสิ่งเหล่านี้เป็นพื้นฐานในการทำงานกับ Kafka

## แนวคิดหลัก

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partition และ offset

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## ทุกอย่างเชื่อมโยงกันอย่างไร

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## ทำไมจึงสำคัญ

การเข้าใจแนวคิดหลักของ Kafka เป็นพื้นฐานสำคัญ เพราะ **topic, partition, broker, producer และ consumer คือองค์ประกอบพื้นฐานของ Kafka** ดังนั้นการเข้าใจสิ่งเหล่านี้จึงจำเป็นต่อการทำงานกับ Kafka ใด ๆ

แนวคิดเหล่านี้เป็นรากฐานของการทำงานของ Kafka

การเข้าใจ **topic** (หมวดหมู่/สตรีมของ event ที่มีชื่อ ซึ่ง producer เขียนลงไปและ consumer อ่านออกมา) เป็นแนวคิดในการจัดระเบียบขั้นพื้นฐาน

การเข้าใจ **partition** มีความสำคัญเป็นพิเศษ: topic ถูกแบ่งออกเป็น partition (log แบบเรียงลำดับและ append-only) ซึ่งเป็น **หน่วยของการทำงานแบบขนานและการขยายขนาด** โดยมีคุณสมบัติสำคัญคือ **ลำดับถูกรับประกันภายใน partition แต่ไม่รับประกันข้าม partition** — เป็นแนวคิดสำคัญที่ส่งผลต่อวิธีที่ Kafka ขยายขนาดและจัดลำดับ event

การเข้าใจ **broker** (เซิร์ฟเวอร์ Kafka ที่รวมกันเป็น cluster), **producer** (เขียน event) และ **consumer** (อ่าน event) ทำให้สถาปัตยกรรมพื้นฐานสมบูรณ์

การเข้าใจ **partition และ offset** — แต่ละ partition เป็นลำดับ event ที่เรียงลำดับและไม่เปลี่ยนแปลง โดย event มี **offset** (ตำแหน่ง), consumer ติดตาม offset ของตัวเองเพื่อกลับมาทำงานต่อและ replay, event ถูกเก็บรักษาไว้เพื่อให้ consumer อ่านตามจังหวะของตัวเอง และ **partition key** กำหนดว่า event จะไปยัง partition ไหน (key เดียวกัน → partition เดียวกัน → ลำดับสำหรับ key นั้น) — เป็นสิ่งจำเป็นต่อการเข้าใจ data model และการรับประกันลำดับของ Kafka

การเข้าใจ **ว่าทุกอย่างเชื่อมโยงกันอย่างไร** (producer เขียนไปยัง topic/partition ที่จัดเก็บบน broker ที่ replicate, consumer อ่านพร้อมติดตาม offset) ให้ภาพรวมที่สมบูรณ์

แนวคิดเหล่านี้คือคำศัพท์และกลไกของ Kafka ที่ทุกอย่างต่อยอดขึ้นมา

เนื่องจาก topic, partition, broker, producer, consumer และ offset เป็นองค์ประกอบพื้นฐานของ Kafka (โดย partition และการจัดลำดับเป็นแนวคิดที่สำคัญเป็นพิเศษ) และเนื่องจากการเข้าใจสิ่งเหล่านี้จำเป็นต่อการทำงานกับ Kafka ใด ๆ การเข้าใจแนวคิดหลักของ Kafka จึงเป็นความรู้พื้นฐานที่จำเป็น — เป็นองค์ประกอบพื้นฐานของ Kafka ที่จำเป็นต่อการทำงานกับมัน เป็นศูนย์กลางของการเข้าใจว่า Kafka จัดระเบียบ ขยายขนาด จัดลำดับ และจัดเก็บ event อย่างไร และเป็นรากฐานสำหรับหัวข้อ Kafka ทั้งหมด