Jak produkować i konsumować wiadomości w Kafce (podstawowe użycie)?

Question

Accepted Answer

Podstawowe użycie Kafki obejmuje **produkowanie** wiadomości do tematu i **konsumowanie** ich — zwykle za pośrednictwem biblioteki kliencka (Java, Python, itp.). Zrozumienie podstawowego przepływu produkcji/konsumpcji jest praktycznym punktem wejścia do używania Kafki.

## Produkowanie wiadomości

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Konsumowanie wiadomości

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Kluczowe punkty praktyczne

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## Dlaczego to ważne

Zrozumienie podstawowego użycia produkcji/konsumpcji jest cenne, ponieważ to **praktyczny punkt wejścia do używania Kafki**, dlatego jest to niezbędna praktyczna wiedza do pracy z Kafką.

Umiejętność produkowania i konsumowania wiadomości to podstawowa umiejętność do używania Kafki w aplikacjach.

Zrozumienie **produkowania wiadomości** — połączenia producenta i wysłania rekordów (klucz, wartość) do tematu, z **kluczem określającym partycjonowanie i kolejność** — to podstawowa operacja zapisu.

Zrozumienie **konsumowania wiadomości** — połączenia konsumenta z **ID grupy**, subskrypcji tematu i przetwarzania wiadomości (z offsetami zatwierdzanymi automatycznie lub ręcznie) — to podstawowa operacja odczytu, gdzie grupa konsumentów określa, jak skaluje się konsumpcja.

Zrozumienie **kluczowych punktów praktycznych** — używanie biblioteki kliencka dla twojego języka (Java, KafkaJS, Python, itp.), ustawianie kluczy dla kolejności i konfigurowanie acks dla trwałości na producentach, używanie ID grup i zatwierdzanie offsetów na konsumentach, obsługę **serializacji** (JSON, Avro, Protobuf, często z rejestrem schematów dla danych strukturalnych) i obsługę błędów, ponownych prób i **idempotentnego przetwarzania** (ponieważ dostarczenie co najmniej raz oznacza możliwe duplikaty) — odzwierciedla praktyczne rozważania dla rzeczywistego użycia Kafki.

Te punkty praktyczne (klucze, grupy, serializacja, idempotentność) łączą wiedzę koncepcyjną (partycje, grupy konsumentów, semantykę dostarczenia) z rzeczywistym kodem.

Ponieważ produkowanie i konsumowanie wiadomości to fundamentalna praktyczna umiejętność do używania Kafki w aplikacjach, a zrozumienie podstawowego przepływu i punktów praktycznych (klucze, grupy, serializacja, idempotentność) jest niezbędną praktyczną wiedzą, zrozumienie podstawowego użycia produkcji/konsumpcji Kafki jest cenną, praktycznie istotną wiedzą — praktycznym punktem wejścia do Kafki, łączącym koncepcje z kodem i niezbędnym dla każdego, kto rzeczywiście buduje aplikacje z Kafką.