Kafka ทำงานภายในอย่างไร (log storage, ZooKeeper/KRaft)?

Question

Accepted Answer

ภายใน Kafka จัดเก็บข้อมูลเป็น **append-only log** บน disk (จัดเรียงเป็น segment) ใช้เทคนิค I/O ที่มีประสิทธิภาพ และจัดการ metadata ของ cluster ผ่าน **ZooKeeper** (ในอดีต) หรือ **KRaft** (ปัจจุบัน) การเข้าใจการทำงานภายในช่วยให้เข้าใจพฤติกรรมและ performance ของ Kafka ลึกขึ้น

## การจัดเก็บแบบ commit log

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## เทคนิคด้านประสิทธิภาพ

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## การประสานงานของ cluster: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## ทำไมจึงสำคัญ

การเข้าใจว่า Kafka ทำงานภายในอย่างไรนั้นเป็นความรู้ระดับ senior ที่มีคุณค่าเพราะมัน **ช่วยให้เข้าใจพฤติกรรมและ performance ของ Kafka ลึกขึ้น** สะท้อนถึงความรู้ที่ซับซ้อน

การเข้าใจการทำงานภายในของ Kafka อธิบายว่าทำไมมันจึงมีพฤติกรรมและ performance อย่างที่เป็น

การเข้าใจ **การจัดเก็บแบบ commit log** — แต่ละ partition เป็น append-only log บน disk ที่แบ่งเป็น segment โดย events ถูก append แบบ sequential (write เร็ว), ระบุด้วย offset, immutable เมื่อเขียนแล้ว และ segment เก่าถูกลบหรือ compact โดยมี index สำหรับ lookup offset ที่เร็ว — อธิบายการออกแบบ storage หลักของ Kafka (append-only log เป็นพื้นฐานของ durability และประสิทธิภาพ)

การเข้าใจ **เทคนิคด้านประสิทธิภาพ** — **sequential I/O** (การ append เป็น sequential disk access ที่เร็ว), **zero-copy** (โอนข้อมูลจาก disk ไป network โดยไม่ copy ผ่าน application เพื่อการอ่านที่มีประสิทธิภาพ), **OS page cache** (พึ่ง OS cache สำหรับการอ่านข้อมูลล่าสุดที่เร็ว) และ batching/compression — อธิบาย *ว่าทำไม Kafka จึงเร็วมากแม้จะใช้ disk* ซึ่งเป็นข้อมูลเชิงลึกสำคัญ (Kafka ทำ performance สูงผ่านการเลือกออกแบบเหล่านี้ ไม่ใช่ด้วยการหลีกเลี่ยง disk)

การเข้าใจ **การประสานงานของ cluster** — ว่า Kafka จัดการ metadata, broker membership และ leader election ผ่าน **ZooKeeper** ในอดีตหรือ **KRaft** ปัจจุบัน (Raft consensus ในตัวของ Kafka เองที่ขจัด dependency ของ ZooKeeper เพื่อการ operate ที่ง่ายขึ้นและ scalability ที่ดีขึ้น ซึ่งเป็นแนวทางสมัยใหม่) — สะท้อนถึงความตระหนักในวิวัฒนาการทางสถาปัตยกรรมที่สำคัญใน Kafka (การย้ายไปสู่ KRaft โดยขจัด dependency ของ ZooKeeper ที่มีมานาน)

ความเข้าใจการทำงานภายในนี้ (log storage, เทคนิคด้านประสิทธิภาพ, วิวัฒนาการของการประสานงาน) ช่วยให้เข้าใจ performance, durability และการ operate ของ Kafka ลึกขึ้น แยกแยะผู้ที่เข้าใจ Kafka อย่างลึกซึ้ง

เนื่องจากการเข้าใจการทำงานภายในของ Kafka (การจัดเก็บแบบ append-only log, เทคนิคด้านประสิทธิภาพอย่าง sequential I/O และ zero-copy ที่ทำให้มันเร็ว และวิวัฒนาการการประสานงานจาก ZooKeeper สู่ KRaft) ช่วยให้เข้าใจพฤติกรรม, performance และการ operate ของมันลึกขึ้น และเนื่องจากสิ่งนี้สะท้อนถึงความรู้เกี่ยวกับ Kafka ที่ซับซ้อน การเข้าใจว่า Kafka ทำงานภายในอย่างไรจึงเป็นความรู้ระดับ senior ที่มีคุณค่า — ช่วยให้เข้าใจ performance ของ Kafka (ทำไมมันจึงเร็วแม้จะใช้ disk), durability (the log) และการ operate (KRaft) ลึกขึ้น สะท้อนถึงความเข้าใจที่ซับซ้อนซึ่งแยกแยะความเชี่ยวชาญ Kafka ที่ลึกซึ้ง และมีประโยชน์ต่อการให้เหตุผลเกี่ยวกับพฤติกรรมของ Kafka และสถาปัตยกรรม KRaft สมัยใหม่