การเก็บรักษาข้อมูลและการจัดเก็บใน Kafka ทำงานอย่างไร?

Question

Accepted Answer

Kafka **เก็บรักษา event** ไว้เป็นช่วงเวลา (หรือขนาด) ที่กำหนดค่าได้ โดยเก็บไว้ใน partition log แม้หลังจากบริโภคแล้ว — ทำให้สามารถ replay และรองรับ consumer หลายตัว การเข้าใจการเก็บรักษาและการจัดการ log สำคัญต่อการใช้ Kafka และการจัดการพื้นที่จัดเก็บ

## การเก็บรักษา — event ถูกเก็บไว้

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## การกำหนดค่าการเก็บรักษา

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## log compaction

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## ทำไมจึงสำคัญ

การเข้าใจการเก็บรักษาข้อมูลและการจัดเก็บใน Kafka มีคุณค่า เพราะ **การเก็บรักษาเป็นคุณสมบัติที่โดดเด่นและสำคัญของ Kafka** ที่ส่งผลต่อความสามารถและพื้นที่จัดเก็บ ดังนั้นจึงเป็นความรู้ที่เกี่ยวข้องต่อการใช้และดำเนินการ Kafka

การที่ Kafka เก็บรักษา event (เก็บไว้ใน partition log แม้หลังบริโภคแล้ว) เป็นจุดที่แตกต่างสำคัญจาก queue แบบดั้งเดิม และทำให้เกิดความสามารถอันโดดเด่นของ Kafka

การเข้าใจ **การเก็บรักษา** — ที่ Kafka เก็บ event ไว้เป็นช่วงเวลาหรือขนาดที่กำหนด (ไม่ลบเมื่อบริโภค) ทำให้เกิด **replay** (อ่านประวัติซ้ำ), consumer หลายตัวอ่านได้อย่างอิสระ และ consumer ที่มาช้าตามทันได้ — ช่วยให้เห็นว่าทำไม Kafka จึงเป็น log ที่คงทนแทนที่จะเป็น queue ชั่วคราว และความสามารถในการ replay และ multi-consumer ของมันทำงานอย่างไร

การเข้าใจ **การกำหนดค่าการเก็บรักษา** — การเก็บรักษาแบบอิงเวลา (retention.ms เช่น 7 วัน) และอิงขนาด (retention.bytes) ที่กำหนดค่าต่อ topic เลือกตามความต้องการ replay, ความทนต่อ consumer lag และความจุของพื้นที่จัดเก็บ — เป็นความรู้เชิงปฏิบัติที่สำคัญต่อการจัดการว่าข้อมูลถูกเก็บไว้นานเท่าใดและพื้นที่จัดเก็บที่เกี่ยวข้อง

การเข้าใจ **log compaction** — โหมดการเก็บรักษาทางเลือกที่เก็บ **ค่าล่าสุดต่อ key** (แทนที่จะเป็น event ทั้งหมด) มีประโยชน์สำหรับ changelog/state topic ที่สถานะปัจจุบันต่อ key สำคัญ (เช่น "user → latest profile" โดยเก็บค่าล่าสุดต่อผู้ใช้) — เป็นคุณสมบัติที่โดดเด่นและมีคุณค่าของ Kafka สำหรับ topic ที่เน้นสถานะ ซึ่งต่างจากการเก็บรักษาแบบเวลา/ขนาด

การเข้าใจการเก็บรักษาและ compaction สำคัญต่อการใช้ความสามารถของ Kafka (replay, state topic) และการจัดการพื้นที่จัดเก็บ (การเก็บรักษาส่งผลต่อปริมาณข้อมูลที่จัดเก็บ)

แนวคิดเหล่านี้ส่งผลทั้งต่อฟังก์ชันการทำงาน (สิ่งที่ consumer สามารถอ่านและ replay ได้) และการดำเนินการ (การจัดการพื้นที่จัดเก็บ)

เนื่องจากการเก็บรักษาเป็นคุณสมบัติที่โดดเด่นและสำคัญของ Kafka (ทำให้เกิด replay และ consumer หลายตัว แยก Kafka ออกจาก queue) ที่ส่งผลต่อความสามารถและพื้นที่จัดเก็บ และเนื่องจากการเข้าใจการกำหนดค่าการเก็บรักษาและ log compaction เกี่ยวข้องต่อการใช้ความสามารถของ Kafka และการจัดการพื้นที่จัดเก็บ การเข้าใจการเก็บรักษาข้อมูลและการจัดเก็บใน Kafka จึงเป็นความรู้ที่มีคุณค่าและเกี่ยวข้องในทางปฏิบัติ — เป็นหัวใจของความสามารถอันโดดเด่นของ Kafka (replay, consumer หลายตัว) และต่อการจัดการพื้นที่จัดเก็บ โดย log compaction เป็นคุณสมบัติที่มีคุณค่าสำหรับ state topic สำคัญต่อการใช้และดำเนินการ Kafka อย่างมีประสิทธิภาพ