สถาปัตยกรรมโดยรวมของ Kafka เป็นอย่างไร?

Question

Accepted Answer

สถาปัตยกรรมของ Kafka ประกอบด้วย **cluster ของ broker** (เซิร์ฟเวอร์) ที่จัดเก็บ topic แบบ partition และ replicate โดยมี **producer** เขียนและ **consumer** อ่าน ประสานงานด้วยการจัดการ metadata (ในอดีตคือ ZooKeeper ปัจจุบันคือ KRaft) การเข้าใจสถาปัตยกรรมช่วยให้เห็นว่า Kafka ทำงานเป็นระบบกระจายอย่างไร

## องค์ประกอบ

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## replication เพื่อความคงทนและความพร้อมใช้งาน

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## ทุกอย่างทำงานร่วมกันอย่างไร

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## ทำไมจึงสำคัญ

การเข้าใจสถาปัตยกรรมโดยรวมของ Kafka มีคุณค่า เพราะมัน **ช่วยให้เห็นว่า Kafka ทำงานเป็นระบบกระจายอย่างไร** ดังนั้นจึงเป็นความรู้พื้นฐานต่อการทำงานกับ Kafka

Kafka เป็นระบบกระจาย และการเข้าใจสถาปัตยกรรมของมันอธิบายว่ามันบรรลุการขยายขนาด ความคงทน และความพร้อมใช้งานได้อย่างไร

การเข้าใจ **องค์ประกอบ** — **broker** (เซิร์ฟเวอร์ Kafka ที่รวมกันเป็น cluster ซึ่งจัดเก็บ partition และให้บริการ client กระจายข้อมูลและภาระงาน), topic/partition ที่กระจายอยู่ตาม broker, producer เขียนและ consumer อ่าน และ **การประสานงาน** (metadata และการจัดการ cluster ในอดีตผ่าน ZooKeeper ปัจจุบันผ่าน **KRaft** มากขึ้นเรื่อย ๆ ซึ่งเป็น consensus ในตัวของ Kafka เองที่ขจัดการพึ่งพา ZooKeeper) — ช่วยให้เห็นชิ้นส่วนต่าง ๆ ของระบบ

การเข้าใจ **replication เพื่อความคงทนและความพร้อมใช้งาน** สำคัญเป็นพิเศษ: partition ถูก **replicate ข้าม broker** (แต่ละตัวมี **leader** ที่จัดการ read/write และ **follower** ที่ replicate มัน) ดังนั้นหาก leader ล้มเหลว follower จะเข้ามาทำหน้าที่แทน (ความพร้อมใช้งาน) โดยที่ **replication factor** กำหนดว่ามีกี่สำเนาที่ทำให้รอดพ้นจากความล้มเหลวโดยไม่สูญเสียข้อมูล (ความคงทน) และ **in-sync replica** รับประกันความคงทน

กลไก replication นี้คือวิธีที่ Kafka บรรลุ fault tolerance และความคงทน — เป็นกุญแจสำคัญต่อความเชื่อถือได้ของมัน

การเข้าใจ **ว่าทุกอย่างทำงานร่วมกันอย่างไร** (producer เขียนไปยัง leader ของ partition, replicate ไปยัง follower, consumer อ่าน ทั้งหมดประสานงานกัน) ให้ภาพรวมที่สมบูรณ์ของ Kafka ในฐานะระบบกระจายที่ replicate และขยายขนาดได้

ความเข้าใจด้านสถาปัตยกรรมนี้ช่วยให้เห็นว่า Kafka ส่งมอบคุณสมบัติสำคัญได้อย่างไร (การขยายขนาดผ่าน broker แบบ partition ที่กระจาย, ความคงทนและความพร้อมใช้งานผ่าน replication)

เนื่องจาก Kafka เป็นระบบกระจาย และการเข้าใจสถาปัตยกรรมของมัน (broker, replication ด้วย leader/follower, การประสานงาน) ช่วยให้เห็นว่ามันบรรลุการขยายขนาด ความคงทน และความพร้อมใช้งานอย่างไร และเนื่องจากนี่เป็นพื้นฐานต่อการทำงานกับ Kafka การเข้าใจสถาปัตยกรรมโดยรวมของ Kafka จึงเป็นความรู้พื้นฐานที่มีคุณค่า — ช่วยให้เห็นว่า Kafka ทำงานเป็นระบบกระจายที่ replicate อย่างไร (broker, replication เพื่อ fault tolerance, การประสานงาน) อธิบายว่ามันส่งมอบคุณสมบัติสำคัญอย่างไร และเป็นพื้นฐานต่อการเข้าใจและการดำเนินการ Kafka