Cum produci și consumi mesaje în Kafka (utilizare de bază)?

Question

Accepted Answer

Utilizarea de bază a Kafka implică **producerea** mesajelor către un topic și **consumarea** lor — de obicei prin intermediul unei biblioteci client (Java, Python, etc.). Înțelegerea fluxului de bază produce/consume este punctul de intrare practic în utilizarea Kafka.

## Producerea mesajelor

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Consumarea mesajelor

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Puncte practice cheie

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## De ce este important

Înțelegerea utilizării de bază produce/consume este valoroasă pentru că este **punctul de intrare practic în utilizarea Kafka**, deci este o cunoaștere practică necesară pentru lucrul cu Kafka.

Știrea cum să produci și consumi mesaje este abilitatea fundamentală pentru utilizarea Kafka în aplicații.

Înțelegerea **producerii mesajelor** — conectarea unui producer și trimiterea înregistrărilor (key, value) către un topic, cu **cheia determinând partiționarea și ordinea** — este operația de scriere de bază.

Înțelegerea **consumării mesajelor** — conectarea unui consumer cu un **group ID**, abonarea la un topic și procesarea mesajelor (cu offsets confirmate automat sau manual) — este operația de citire de bază, grupul de consumatori fiind modul în care consumarea se scalează.

Înțelegerea **punctelor practice cheie** — utilizarea unei biblioteci client pentru limba ta (Java, KafkaJS, Python, etc.), setarea cheilor pentru ordine și configurarea acks pentru durabilitate pe produceri, utilizarea group ID-urilor și confirmarea offseturilor pe consumatori, gestionarea **serializării** (JSON, Avro, Protobuf, adesea cu un schema registry pentru date structurate), și gestionarea erorilor, reîncercărilor și **procesării idempotente** (întrucât livrarea at-least-once înseamnă posibile duplicate) — reflectă considerațiile practice pentru utilizarea reală a Kafka.

Aceste puncte practice (chei, grupuri, serializare, idempotență) conectează cunoașterea conceptuală (partiții, grupuri de consumatori, semantica livrării) la codul actual.

Intrucât producerea și consumarea mesajelor este abilitatea practică fundamentală pentru utilizarea Kafka în aplicații, și întrucât înțelegerea fluxului de bază și a punctelor practice (chei, grupuri, serializare, idempotență) este o cunoaștere practică necesară, înțelegerea utilizării de bază produce/consume a Kafka este o cunoaștere valoroasă și relevant practic — punctul de intrare practic în utilizarea Kafka, conectând concepte la cod, și necesară pentru oricine care construiește de fapt aplicații cu Kafka.