Kuinka tuottajat ja kuluttajat toimivat Kafkassa?

Question

Accepted Answer

**Tuottajat** julkaisevat (kirjoittavat) tapahtumia Kafka-aiheisiin, ja **kuluttajat** tilaavat (lukevat) tapahtumia niistä. Ymmärrys siitä, kuinka ne toimivat — mukaan lukien osiointi, offsetit ja kuluttajaryhmät — on perustavanlaatuista Kafkan käyttämiselle.

## Tuottajat — tapahtumien kirjoittaminen

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Kuluttajat — tapahtumien lukeminen

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Kuluttajaryhmät (avain skaalautuvuuteen)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Miksi se on tärkeää

Ymmärrys siitä, kuinka tuottajat ja kuluttajat toimivat, on perustavanlaatuista, koska ne ovat **kuinka data kulkee Kafkaan ja sieltä ulos**, joten se on välttämätöntä Kafkan käyttämiselle.

Tuottajat kirjoittavat tapahtumia ja kuluttajat lukevat niitä — perusdatavirta.

Ymmärrys **tuottajista** — tapahtumien julkaiseminen aiheisiin, jossa **avain määrittää osion** (sama avain menevät samaan osioon järjestyksen säilyttämiseksi, avain puuttuu jakaa kierrätyksellä), kuittausten määrittäminen kestävyydelle ja eräkäsittely läpimenokyvylle — kattaa kuinka data tulee Kafkaan.

Ymmärrys **kuluttajista** — tapahtumien lukeminen samalla kun seurataan niiden **offsettia** (sijainti) jatkaakseen siitä, mihin ne jäivät, lukemalla omaan tahtiin koska tapahtumat säilytetään, kyky **toistaa** mistä tahansa offsetista ja offsettien vahvistaminen edistyksen tallentamiseen — kattaa kuinka data luetaan, mukaan lukien Kafkan ainutlaatuinen toiston mahdollisuus.

Tärkeintä on, ymmärrys **kuluttajaryhmistä** on välttämätöntä Kafkan skaalauksmallia varten: kuluttajat työskentelevät yhdessä, joissa **jokainen osio kulutettaan yhden kuluttajan toimesta ryhmässä** (mahdollistaa rinnakkaisen käsittelyn, skaalaus lisäämällä kuluttajia osioiden lukumäärään), automaattisella **tasapainotuksella** jos kuluttaja epäonnistuu (virhesieto), kun taas **eri kuluttajaryhmät lukevat jokainen kaikki tapahtumat itsenäisesti** (mahdollistaa pub/sub, joissa useammat ryhmät saavat kumpikin koko virran).

Tämä kuluttajaryhmän malli on perustavanlaatuista Kafkan kulutusskaalautumiselle ja tukee sekä jonomaisia (ryhmän sisällä) että pub/sub (ryhmien välillä) malleja.

Koska tuottajat ja kuluttajat ovat kuinka data kulkee Kafkaan ja sieltä ulos, ja koska niiden toimintaymmärrys — osiointi, offsetit, toistaminen ja erityisesti kuluttajaryhmät (avain skaalaukseen ja jonomaisen/pub-sub-kaksinaisuuden ymmärtämiseen) — on välttämätöntä Kafkan käyttämiselle, tuottajien ja kuluttajien toimintaymmärrys on välttämätöntä, perustavanlaatuista Kafkan tietoa — perustavanlaatuista Kafkan datavirralle, kuluttajaryhmät erityisen tärkeät Kafkan skaalautumisen ja kulutusmallin ymmärtämiselle, ja välttämätöntä kaikille, jotka käyttävät Kafkaa.