Kuinka tarkasti kerran tapahtuva käsittely toimii Kafkassa?

Question

Accepted Answer

**Exactly-once semantics (EOS)** varmistaa, että jokainen viesti käsitellään tarkasti kerran — ei häviöitä, ei kaksoiskappaleita — jopa virheiden ja uudelleenyrityksen yhteydessä. Kafka saavuttaa tämän **idempotentin tuottajien** ja **transaktioiden** avulla, vaikka se on monimutkaista ja aiheuttaa yleiskustannuksia.

## Haaste

```text
Exactly-once is HARD in distributed systems (failures, retries, duplicates are inevitable):
  → producer retries → duplicate messages; consumer reprocessing → duplicate effects
  → naive at-least-once → duplicates; at-most-once → loss
→ exactly-once requires careful mechanisms to avoid BOTH loss AND duplicates.
```

## Kuinka Kafka saavuttaa tarkasti kerran

```text
1. IDEMPOTENT PRODUCER (enable.idempotence=true):
  → the producer dedupes retries (sequence numbers per partition) → producing the same
    message twice (due to a retry) results in ONE write (no duplicates from retries)
2. TRANSACTIONS:
  → group writes (and consumer offset commits) into an ATOMIC transaction → all succeed
    or all roll back
  → enables "consume-process-produce" atomically: read, process, write results + commit
    offsets together → exactly-once across the pipeline (within Kafka)
→ Kafka Streams uses these for end-to-end exactly-once processing
```

## Laajuus ja kompromissit

```text
⚠️ Exactly-once is WITHIN KAFKA (consume-process-produce to Kafka):
  → EXTERNAL side effects (e.g. writing to an external DB, calling an API) aren't covered →
    still need idempotency for those
⚠️ Has OVERHEAD (transactions, coordination) → performance cost
→ often AT-LEAST-ONCE + idempotent processing is simpler and sufficient → use exactly-once
  when truly needed (duplicates unacceptable and idempotency hard)
```

## Miksi se on tärkeää

Ymmärtäminen siitä, kuinka tarkasti kerran tapahtuva käsittely toimii Kafkassa, on arvokasta senioritason osaamista, koska **tarkasti kerran on tärkeä mutta usein väärinymmärretty takuu**, joten sen toimintatavan ja rajoitusten ymmärtäminen kuvastaa syvempää Kafka-osaamista.

Tarkasti kerran semantiikka (ei häviöitä, ei kaksoiskappaleita virheiden aiheuttamista huolimatta) on toivottavaa mutta todella vaikeaa hajautetuissa järjestelmissä, joissa uudelleenyritykset ja kaksoiskappaleita on väistämätöntä, ja sen ymmärtäminen kuinka Kafka sen saavuttaa (ja sen rajoitukset) on kehittynyttä osaamista.

**Haasteen** ymmärtäminen — että tarkasti kerran vaatii sekä häviöiden että kaksoiskappaleita välttämistä väistämättömistä virheistä ja uudelleyrityksistä huolimatta — asettaa kehykset sille, miksi se on vaikeaa.

**Kuinka Kafka sen saavuttaa** -osaaminen — **idempotentin tuottajat** (kaksoiskappaleita poistetaan uudelleentaytysten osalta sarjanumeroiden avulla, joten uudelleenyrityksestä johtuvat kaksoiskappaleita johtavat yhteen kirjoitukseen) ja **transaktiot** (kirjoitusten ja offset-commit-kytkentöjen ryhmitteleminen atomisesti, mahdollistaen