producer และ consumer ทำงานอย่างไรใน Kafka?

Question

Accepted Answer

**Producer** publish (เขียน) event ไปยัง topic ของ Kafka และ **consumer** subscribe (อ่าน) event จากมัน การเข้าใจว่ามันทำงานอย่างไร — รวมถึง partitioning, offset และ consumer group — เป็นพื้นฐานในการใช้ Kafka

## Producer — การเขียน event

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumer — การอ่าน event

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Consumer group (กุญแจสำคัญสำหรับการขยายขนาด)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## ทำไมจึงสำคัญ

การเข้าใจว่า producer และ consumer ทำงานอย่างไรเป็นพื้นฐานสำคัญ เพราะมันคือ **วิธีที่ข้อมูลไหลเข้าและออกจาก Kafka** ดังนั้นจึงจำเป็นต่อการใช้ Kafka

Producer เขียน event และ consumer อ่านมัน — เป็นการไหลของข้อมูลขั้นพื้นฐาน

การเข้าใจ **producer** — การ publish event ไปยัง topic โดยที่ **key กำหนด partition** (key เดียวกันไปยัง partition เดียวกันเพื่อจัดลำดับ ส่วนไม่มี key จะกระจายแบบ round-robin), การกำหนด acknowledgment เพื่อความคงทน และการ batch เพื่อ throughput — ครอบคลุมวิธีที่ข้อมูลเข้าสู่ Kafka

การเข้าใจ **consumer** — การอ่าน event พร้อมติดตาม **offset** (ตำแหน่ง) ของตัวเองเพื่อกลับมาทำงานต่อจากที่ค้างไว้, การอ่านตามจังหวะของตัวเองเนื่องจาก event ถูกเก็บรักษา, ความสามารถในการ **replay** จาก offset ใดก็ได้ และการ commit offset เพื่อบันทึกความคืบหน้า — ครอบคลุมวิธีที่ข้อมูลถูกอ่าน รวมถึงความสามารถในการ replay อันโดดเด่นของ Kafka

ที่สำคัญที่สุด การเข้าใจ **consumer group** เป็นสิ่งจำเป็นต่อโมเดลการขยายขนาดของ Kafka: consumer ทำงานร่วมกันโดย **แต่ละ partition ถูกบริโภคโดย consumer หนึ่งตัวในกลุ่ม** (ทำให้ประมวลผลแบบขนานได้ และขยายขนาดด้วยการเพิ่ม consumer ได้สูงสุดเท่ากับจำนวน partition) พร้อมการ **rebalance** อัตโนมัติหาก consumer ล้มเหลว (fault tolerance) ในขณะที่ **consumer group ที่แตกต่างกันแต่ละกลุ่มจะอ่าน event ทั้งหมดอย่างอิสระ** (ทำให้เกิด pub/sub ที่หลายกลุ่มต่างได้รับสตรีมทั้งหมด)

โมเดล consumer group นี้เป็นพื้นฐานของวิธีที่ Kafka ขยายขนาดการบริโภคและรองรับทั้งรูปแบบคล้าย queue (ภายในกลุ่ม) และ pub/sub (ข้ามกลุ่ม)

เนื่องจาก producer และ consumer คือวิธีที่ข้อมูลไหลเข้าและออกจาก Kafka และเนื่องจากการเข้าใจการทำงานของมัน — partitioning, offset, replay และโดยเฉพาะ consumer group (กุญแจสำคัญสู่การขยายขนาดและความเป็นคู่ของ queue/pub-sub) — จำเป็นต่อการใช้ Kafka การเข้าใจว่า producer และ consumer ทำงานอย่างไรจึงเป็นความรู้พื้นฐานที่จำเป็นเกี่ยวกับ Kafka — เป็นพื้นฐานของการไหลของข้อมูลใน Kafka โดยที่ consumer group มีความสำคัญเป็นพิเศษต่อการเข้าใจโมเดลการขยายขนาดและการบริโภคของ Kafka และจำเป็นสำหรับทุกคนที่ใช้ Kafka