offset ใน Kafka คืออะไร และทำงานอย่างไร?

Question

Accepted Answer

**Offset** คือ ID ที่ไม่ซ้ำกันและเรียงลำดับสำหรับแต่ละ event ภายใน partition — เป็นเครื่องหมายตำแหน่งของมัน consumer ติดตามและ commit offset เพื่อรู้ว่าได้บริโภคอะไรไปแล้ว ทำให้สามารถกลับมาทำงานต่อ, replay และประมวลผลได้อย่างเชื่อถือได้

## offset คืออะไร

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## consumer ใช้ offset อย่างไร

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## การจัดการ offset และ delivery semantics

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## ทำไมจึงสำคัญ

การเข้าใจ offset เป็นพื้นฐานสำคัญ เพราะมันคือ **วิธีที่ Kafka ติดตามความคืบหน้าในการบริโภคและทำให้เกิดความสามารถอันโดดเด่น** (การกลับมาทำงานต่อ, replay, การรับประกันการส่ง) ดังนั้นจึงเป็นความรู้ Kafka ที่จำเป็น

offset — ตำแหน่งของ event ภายใน partition — เป็นหัวใจของวิธีที่ consumer ทำงานกับ Kafka

การเข้าใจ **ว่า offset คืออะไร** (ID เรียงลำดับที่เป็นเครื่องหมายตำแหน่งของแต่ละ event ใน log ที่เรียงลำดับของ partition โดยที่ event ถูกเก็บรักษาเพื่อให้ offset ยังคงใช้ได้) คือรากฐาน

การเข้าใจ **ว่า consumer ใช้ offset อย่างไร** — การติดตาม offset ปัจจุบัน (ตำแหน่งที่อ่านถึง), การ **commit offset** เพื่อบันทึกความคืบหน้า (เพื่อให้กลับมาทำงานต่อจากจุดที่ commit เมื่อ restart แทนที่จะประมวลผลใหม่ทั้งหมด) และความสามารถในการ **seek ไปยัง offset ใดก็ได้เพื่อ replay** event เก่าหรือประมวลผลใหม่จากจุดหนึ่ง (ความสามารถในการ replay อันโดดเด่นของ Kafka) โดยที่แต่ละ consumer group ติดตาม offset ของตัวเองอย่างอิสระ — จำเป็นต่อการเข้าใจว่าการบริโภค การกลับมาทำงานต่อ และการ replay ของ Kafka ทำงานอย่างไร

ที่สำคัญที่สุด การเข้าใจ **การจัดการ offset และ delivery semantics** เป็นสิ่งสำคัญ: **เมื่อใดและอย่างไรที่คุณ commit offset ส่งผลต่อการรับประกันการส่ง** — การ commit หลังประมวลผลให้ **at-least-once** (การ crash ก่อน commit ทำให้ประมวลผลซ้ำ/มี duplicate ต้องใช้ idempotency), การ commit ก่อนให้ **at-most-once** (การ crash หลัง commit แต่ก่อนประมวลผลทำให้ message สูญหาย) และ **exactly-once** ต้องใช้มากกว่านั้น (transaction, การประมวลผลแบบ idempotent)

ความเชื่อมโยงระหว่างการจัดการ offset กับการรับประกันการส่งนี้เป็นแนวคิดเชิงปฏิบัติที่สำคัญต่อการสร้าง consumer ของ Kafka ที่เชื่อถือได้

การเข้าใจ auto-commit เทียบกับ manual commit (การควบคุมการรับประกัน) สะท้อนการจัดการ offset ในทางปฏิบัติ

เนื่องจาก offset คือวิธีที่ Kafka ติดตามความคืบหน้าในการบริโภคและทำให้เกิดความสามารถอันโดดเด่น (การกลับมาทำงานต่อ, replay) ในขณะที่การจัดการมันกำหนดการรับประกันการส่ง (at-least-once, at-most-once, exactly-once) และเนื่องจากการเข้าใจ offset จำเป็นต่อการสร้าง consumer ที่เชื่อถือได้ การเข้าใจ offset ใน Kafka จึงเป็นความรู้พื้นฐานที่จำเป็น — เป็นหัวใจของวิธีที่ Kafka ติดตามการบริโภคและทำให้เกิด replay และเชื่อมโยงกับการรับประกันการส่งอย่างสำคัญผ่านการจัดการ offset จำเป็นต่อการสร้าง consumer ของ Kafka ที่เชื่อถือได้ และเป็นแนวคิดหลักของ Kafka