Kako proizvodite i konzumirate poruke u Kafki (osnovna upotreba)?

Question

IT Interview Practice · Accepted Answer

Osnovna upotreba Kafke uključuje **proizvodnju** poruka u temu i njihovu **konzumaciju** — obično putem klijentske biblioteke (Java, Python, itd.). Razumijevanje osnovnog toka proizvodnje/konzumacije je praktični početak za korištenje Kafke.

## Proizvodnja poruka

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Konzumacija poruka

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Ključne praktične točke

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## Zašto je važno

Razumijevanje osnovne upotrebe proizvodnje/konzumacije je vrijedno jer je to **praktični početak za korištenje Kafke**, pa je to potrebno praktično znanje za rad s Kafkom.

Znati kako proizvoditi i konzumirati poruke je temeljna vještina za korištenje Kafke u aplikacijama.

Razumijevanje **proizvodnje poruka** — povezivanja proizvođača i slanja zapisa (ključ, vrijednost) u temu, gdje **ključ određuje particioniranje i redoslijed** — je osnovna operacija pisanja.

Razumijevanje **konzumacije poruka** — povezivanja konzumenta s **ID-om grupe**, pretplate na temu i obrade poruka (s offsetima koji se automatski ili ručno potvrđuju) — je osnovna operacija čitanja, gdje je grupa konzumenata način kako se konzumacija skalira.

Razumijevanje **ključnih praktičnih točaka** — korištenje klijentske biblioteke za svoj jezik (Java, KafkaJS, Python, itd.), postavljanje ključeva za redoslijed i konfiguracija acks za trajnost na proizvođačima, korištenje ID-eva grupa i potvrda offseta na konzumentima, rukovanje **serijalizacijom** (JSON, Avro, Protobuf, često sa registrom shema za strukturirane podatke) i rukovanje greškama, pokušajima i **idempotentnom obradom** (jer at-least-once isporuka znači moguće duplikate) — odražava praktične razmatranja za stvarnu upotrebu Kafke.

Ete praktične točke (ključevi, grupe, serijalizacija, idempotencija) povezuju konceptualno znanje (particije, grupe konzumenata, semantika isporuke) s stvarnim kodom.

Budući da je proizvodnja i konzumacija poruka temeljna praktična vještina za korištenje Kafke u aplikacijama, i budući da je razumijevanje osnovnog toka i praktičnih točaka (ključevi, grupe, serijalizacija, idempotencija) potrebno praktično znanje, razumijevanje osnovne upotrebe Kafke za proizvodnju/konzumaciju je vrijedno, praktično relevantno znanje — praktični početak za korištenje Kafke, povezivanje koncepata s kodom i potrebno za sve koji zaista grade aplikacije s Kafkom.

Proizvodnja poruka

Konzumacija poruka

Ključne praktične točke

Zašto je važno

Povezana pitanja