Bagaimana cara memproduksi dan mengkonsumsi pesan di Kafka (penggunaan dasar)?

Question

Accepted Answer

Penggunaan dasar Kafka melibatkan **memproduksi** pesan ke sebuah topik dan **mengkonsumsinya** — biasanya melalui pustaka klien (Java, Python, dll.). Memahami aliran produksi/konsumsi dasar adalah pintu masuk praktis untuk menggunakan Kafka.

## Memproduksi pesan

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Mengkonsumsi pesan

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Poin-poin praktis utama

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## Mengapa ini penting

Memahami penggunaan produksi/konsumsi dasar berharga karena ini adalah **pintu masuk praktis untuk menggunakan Kafka**, jadi ini adalah pengetahuan praktis yang diperlukan untuk bekerja dengan Kafka.

Mengetahui cara memproduksi dan mengkonsumsi pesan adalah keterampilan fundamental untuk menggunakan Kafka dalam aplikasi.

Memahami **memproduksi pesan** — menghubungkan producer dan mengirimkan record (kunci, nilai) ke topik, dengan **kunci menentukan partisi dan urutan** — adalah operasi penulisan dasar.

Memahami **mengkonsumsi pesan** — menghubungkan consumer dengan **ID grup**, berlangganan topik, dan memproses pesan (dengan offset yang di-commit secara otomatis atau manual) — adalah operasi pembacaan dasar, dengan grup consumer adalah cara konsumsi diskalakan.

Memahami **poin-poin praktis utama** — menggunakan pustaka klien untuk bahasa Anda (Java, KafkaJS, Python, dll.), menetapkan kunci untuk urutan dan mengonfigurasi acks untuk durabilitas pada producer, menggunakan ID grup dan commit offset pada consumer, menangani **serialisasi** (JSON, Avro, Protobuf, sering dengan schema registry untuk data terstruktur), dan menangani error, retry, dan **pemrosesan idempoten** (karena pengiriman at-least-once berarti kemungkinan duplikat) — mencerminkan pertimbangan praktis untuk penggunaan Kafka nyata.

Poin-poin praktis ini (kunci, grup, serialisasi, idempotency) menghubungkan pengetahuan konseptual (partisi, grup consumer, semantik pengiriman) ke kode aktual.

Karena memproduksi dan mengkonsumsi pesan adalah keterampilan praktis fundamental untuk menggunakan Kafka dalam aplikasi, dan karena memahami aliran dasar dan poin-poin praktis (kunci, grup, serialisasi, idempotency) adalah pengetahuan praktis yang diperlukan, memahami penggunaan produksi/konsumsi Kafka dasar adalah pengetahuan yang berharga dan relevan secara praktis — pintu masuk praktis untuk menggunakan Kafka, menghubungkan konsep ke kode, dan diperlukan untuk siapa saja yang benar-benar membangun aplikasi dengan Kafka.