Làm thế nào để produce và consume tin nhắn trong Kafka (sử dụng cơ bản)?

Question

Accepted Answer

Sử dụng Kafka cơ bản liên quan đến việc **produce** tin nhắn vào một topic và **consume** chúng — thường thông qua một client library (Java, Python, v.v.). Hiểu luồng produce/consume cơ bản là điểm khởi đầu thực tiễn để dùng Kafka.

## Produce tin nhắn

```js
// dùng một Kafka client (ví dụ KafkaJS cho Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key quyết định partition (cùng key → cùng partition → đảm bảo thứ tự)
  ],
});
// → phát hành tin nhắn vào topic 'orders'
```

## Consume tin nhắn

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // một consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // xử lý tin nhắn...
    // offset được auto-commit (hoặc commit thủ công để kiểm soát)
  },
});
```

## Các điểm thực tiễn then chốt

```text
✓ Dùng một client LIBRARY cho ngôn ngữ của bạn (Java, KafkaJS, confluent-kafka-python, v.v.)
✓ Producer: đặt một KEY cho thứ tự/partitioning; cấu hình acks cho độ bền
✓ Consumer: dùng một GROUP ID; group phân bổ partition; commit offset
✓ Xử lý SERIALIZATION (JSON, Avro, Protobuf) — thường có một schema registry cho dữ liệu có cấu trúc
✓ Xử lý lỗi, retry; xử lý idempotent (at-least-once → có thể trùng lặp)
```

## Tại sao điều này quan trọng

Hiểu sử dụng produce/consume cơ bản là giá trị vì đó là **điểm khởi đầu thực tiễn để dùng Kafka**, nên là kiến thức thực hành cần thiết để làm việc với Kafka.

Biết cách produce và consume tin nhắn là kỹ năng cơ bản để dùng Kafka trong ứng dụng.

Hiểu **produce tin nhắn** — kết nối một producer và gửi record (key, value) tới một topic, với **key quyết định partitioning và thứ tự** — là thao tác ghi cơ bản.

Hiểu **consume tin nhắn** — kết nối một consumer với một **group ID**, subscribe vào một topic, và xử lý tin nhắn (với offset được commit tự động hoặc thủ công) — là thao tác đọc cơ bản, với consumer group là cách việc tiêu thụ mở rộng.

Hiểu các **điểm thực tiễn then chốt** — dùng một client library cho ngôn ngữ của bạn (Java, KafkaJS, Python, v.v.), đặt key cho thứ tự và cấu hình acks cho độ bền ở producer, dùng group ID và commit offset ở consumer, xử lý **serialization** (JSON, Avro, Protobuf, thường với một schema registry cho dữ liệu có cấu trúc), và xử lý lỗi, retry, và **xử lý idempotent** (vì phân phối at-least-once nghĩa là có thể trùng lặp) — phản ánh các cân nhắc thực tiễn cho việc dùng Kafka thực tế.

Các điểm thực tiễn này (key, group, serialization, idempotency) kết nối kiến thức khái niệm (partition, consumer group, ngữ nghĩa phân phối) với code thực tế.

Vì produce và consume tin nhắn là kỹ năng thực tiễn cơ bản để dùng Kafka trong ứng dụng, và vì hiểu luồng cơ bản và các điểm thực tiễn (key, group, serialization, idempotency) là kiến thức thực hành cần thiết, nên hiểu sử dụng produce/consume Kafka cơ bản là kiến thức giá trị, liên quan thực tiễn — điểm khởi đầu thực tiễn để dùng Kafka, kết nối khái niệm với code, và cần thiết cho bất kỳ ai thực sự xây dựng ứng dụng với Kafka.