Bagaimana anda menghasilkan dan menggunakan mesej dalam Kafka (penggunaan asas)?

Question

Accepted Answer

Penggunaan asas Kafka melibatkan **menghasilkan** (produce) mesej ke topic dan **menggunakan** (consume) mesej tersebut — biasanya melalui pustaka klien (Java, Python, dll.). Memahami aliran produce/consume asas merupakan titik masuk praktikal untuk menggunakan Kafka.

## Menghasilkan mesej

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Menggunakan mesej

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Perkara praktikal utama

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## Mengapa ia penting

Memahami penggunaan produce/consume asas adalah berharga kerana ia merupakan **titik masuk praktikal untuk menggunakan Kafka**, jadi ia merupakan pengetahuan langsung (hands-on) yang perlu untuk bekerja dengan Kafka.

Mengetahui cara menghasilkan dan menggunakan mesej ialah kemahiran asas untuk menggunakan Kafka dalam aplikasi.

Memahami **menghasilkan mesej** — menyambung producer dan menghantar rekod (key, value) ke topic, dengan **key menentukan partitioning dan susunan** — merupakan operasi tulis asas.

Memahami **menggunakan mesej** — menyambung consumer dengan **group ID**, melanggan topic, dan memproses mesej (dengan offset di-commit secara automatik atau manual) — merupakan operasi baca asas, dengan consumer group menjadi cara penggunaan berskala.

Memahami **perkara praktikal utama** — menggunakan pustaka klien untuk bahasa anda (Java, KafkaJS, Python, dll.), menetapkan key untuk susunan dan mengkonfigurasi acks untuk ketahanan pada producer, menggunakan group ID dan commit offset pada consumer, mengendalikan **serialisasi** (JSON, Avro, Protobuf, selalunya dengan schema registry untuk data berstruktur), dan mengendalikan ralat, cubaan semula, serta **pemprosesan idempotent** (kerana penghantaran at-least-once bermaksud kemungkinan pendua) — mencerminkan pertimbangan praktikal untuk penggunaan Kafka sebenar.

Perkara praktikal ini (key, group, serialisasi, idempotency) menghubungkan pengetahuan konsep (partition, consumer group, semantik penghantaran) dengan kod sebenar.

Memandangkan menghasilkan dan menggunakan mesej ialah kemahiran praktikal asas untuk menggunakan Kafka dalam aplikasi, dan memandangkan memahami aliran asas serta perkara praktikal (key, group, serialisasi, idempotency) merupakan pengetahuan langsung yang perlu, memahami penggunaan produce/consume asas Kafka merupakan pengetahuan berharga yang relevan secara praktikal — titik masuk praktikal untuk menggunakan Kafka, menghubungkan konsep dengan kod, dan perlu untuk sesiapa yang benar-benar membina aplikasi dengan Kafka.