Kuinka tuotat ja kulutat viestejä Kafkassa (perus käyttö)?

Question

Accepted Answer

Kafkan perus käyttö sisältää viestien **tuottamisen** aiheeseen ja niiden **kuluttamisen** — tyypillisesti asiakas kirjaston kautta (Java, Python, jne.). Perus tuotto/kulutus virtauksen ymmärtäminen on käytännöllinen aloituspiste Kafkan käyttöön.

## Viestien tuottaminen

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Viestien kuluttaminen

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Tärkeät käytännön näkökohdat

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## Miksi se on tärkeää

Perus tuotto/kulutus käyttö on arvokasta, koska se on **käytännöllinen aloituspiste Kafkan käyttöön**, joten se on välttämätöntä käytännön osaamista Kafkan käyttöön.

Viestien tuottaminen ja kuluttaminen on perustieto Kafkan käyttöön sovelluksissa.

**Viestien tuottaminen** — tuottajan yhdistäminen ja tietueiden (avain, arvo) lähettäminen aiheeseen, kun **avain määrittää osiointia ja järjestystä** — on perus kirjoitustoiminto.

**Viestien kuluttaminen** — kuluttajan yhdistäminen **ryhmän tunnisteella**, aiheen tilaamiseen ja viestien käsittelyyn (korvausten sitoutumisen automatiikalla tai manuaalisesti) — on perus lukutoiminto, ja kuluttaja ryhmä on se, kuinka kulutus skaalautuu.

Perus käytännön näkökohtien ymmärtäminen — asiakaskirjaston käyttö kieleellesi (Java, KafkaJS, Python, jne.), avainten käyttäminen järjestykseen ja acks:n määrittäminen kestävyyteen tuottajassa, ryhmän tunnisteita ja korvausten sitoutumista kuluttajassa, **sarjallistamisen** käsittely (JSON, Avro, Protobuf, usein schema rekisterillä strukturoiduille tiedoille) ja virheiden, uudelleen yritysten ja **idempotenttisen käsittelyn** käsittely (koska vähintään kerran -toimitus tarkoittaa mahdollisia duplikaatteja) — heijastaa käytännön näkökohtia todelliseen Kafkan käyttöön.

Nämä käytännön näkökohdat (avaimet, ryhmät, sarjallistaminen, idempotenttisuus) yhdistävät käsitteellisen tiedon (osiot, kuluttaja ryhmät, toimitus semantiikka) oikeaan koodiin.

Koska viestien tuottaminen ja kuluttaminen on perus käytännöllinen taito Kafkan käyttöön sovelluksissa, ja koska perus virtauksen ja käytännön näkökohtien (avaimet, ryhmät, sarjallistaminen, idempotenttisuus) ymmärtäminen on välttämätöntä käytännön osaamista, perustavan Kafkan tuotto/kulutus käyttö on arvokasta, käytännöllisesti merkityksellistä tietoa — käytännöllinen aloituspiste Kafkan käyttöön, käsitteiden yhdistäminen koodiin ja välttämätön kaikille, jotka todella rakentavat sovelluksia Kafkalla.