คุณ produce และ consume message ใน Kafka อย่างไร (การใช้งานพื้นฐาน)?

Question

Accepted Answer

การใช้งาน Kafka พื้นฐานเกี่ยวข้องกับการ **produce** message ไปยัง topic และ **consume** มัน — โดยทั่วไปผ่าน client library (Java, Python เป็นต้น) การเข้าใจ flow การ produce/consume พื้นฐานเป็นจุดเริ่มต้นเชิงปฏิบัติในการใช้ Kafka

## การ produce message

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## การ consume message

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## ประเด็นสำคัญในทางปฏิบัติ

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## ทำไมจึงสำคัญ

การเข้าใจการใช้งาน produce/consume พื้นฐานมีคุณค่า เพราะมันเป็น **จุดเริ่มต้นเชิงปฏิบัติในการใช้ Kafka** ดังนั้นจึงเป็นความรู้เชิงปฏิบัติที่จำเป็นต่อการทำงานกับ Kafka

การรู้วิธี produce และ consume message เป็นทักษะพื้นฐานในการใช้ Kafka ในแอปพลิเคชัน

การเข้าใจ **การ produce message** — การเชื่อมต่อ producer และส่ง record (key, value) ไปยัง topic โดยที่ **key กำหนด partitioning และการจัดลำดับ** — เป็นการเขียนขั้นพื้นฐาน

การเข้าใจ **การ consume message** — การเชื่อมต่อ consumer ด้วย **group ID**, subscribe ไปยัง topic และประมวลผล message (โดย offset ถูก commit อัตโนมัติหรือด้วยตนเอง) — เป็นการอ่านขั้นพื้นฐาน โดยที่ consumer group เป็นวิธีที่การบริโภคขยายขนาด

การเข้าใจ **ประเด็นสำคัญในทางปฏิบัติ** — การใช้ client library สำหรับภาษาของคุณ (Java, KafkaJS, Python เป็นต้น), การตั้ง key เพื่อการจัดลำดับและการกำหนด acks เพื่อความคงทนบน producer, การใช้ group ID และการ commit offset บน consumer, การจัดการ **serialization** (JSON, Avro, Protobuf มักใช้ schema registry สำหรับข้อมูลที่มีโครงสร้าง) และการจัดการ error, retry และ **การประมวลผลแบบ idempotent** (เนื่องจากการส่งแบบ at-least-once หมายถึงอาจมี duplicate) — สะท้อนข้อพิจารณาเชิงปฏิบัติสำหรับการใช้ Kafka จริง

ประเด็นเชิงปฏิบัติเหล่านี้ (key, group, serialization, idempotency) เชื่อมโยงความรู้เชิงแนวคิด (partition, consumer group, delivery semantics) เข้ากับโค้ดจริง

เนื่องจากการ produce และ consume message เป็นทักษะเชิงปฏิบัติพื้นฐานในการใช้ Kafka ในแอปพลิเคชัน และเนื่องจากการเข้าใจ flow พื้นฐานและประเด็นเชิงปฏิบัติ (key, group, serialization, idempotency) เป็นความรู้เชิงปฏิบัติที่จำเป็น การเข้าใจการใช้งาน produce/consume พื้นฐานของ Kafka จึงเป็นความรู้ที่มีคุณค่าและเกี่ยวข้องในทางปฏิบัติ — เป็นจุดเริ่มต้นเชิงปฏิบัติในการใช้ Kafka เชื่อมโยงแนวคิดเข้ากับโค้ด และจำเป็นสำหรับทุกคนที่สร้างแอปพลิเคชันด้วย Kafka จริง