Hogyan működik az exactly-once feldolgozás a Kafkában?

Question

Accepted Answer

**Exactly-once semantics (EOS)** biztosítja, hogy minden üzenet pontosan egyszer kerül feldolgozásra — nincs adatvesztés, nincsenek duplikátumok — még hibák és újrapróbálkozások esetén sem. A Kafka ezt **idempotens producerek** és **tranzakciók** segítségével éri el, bár összetett és van terhelése.

## A kihívás

```text
Exactly-once is HARD in distributed systems (failures, retries, duplicates are inevitable):
  → producer retries → duplicate messages; consumer reprocessing → duplicate effects
  → naive at-least-once → duplicates; at-most-once → loss
→ exactly-once requires careful mechanisms to avoid BOTH loss AND duplicates.
```

## Hogyan éri el a Kafka az exactly-once feldolgozást

```text
1. IDEMPOTENT PRODUCER (enable.idempotence=true):
  → the producer dedupes retries (sequence numbers per partition) → producing the same
    message twice (due to a retry) results in ONE write (no duplicates from retries)
2. TRANSACTIONS:
  → group writes (and consumer offset commits) into an ATOMIC transaction → all succeed
    or all roll back
  → enables "consume-process-produce" atomically: read, process, write results + commit
    offsets together → exactly-once across the pipeline (within Kafka)
→ Kafka Streams uses these for end-to-end exactly-once processing
```

## Hatókör és kompromisszumok

```text
⚠️ Exactly-once is WITHIN KAFKA (consume-process-produce to Kafka):
  → EXTERNAL side effects (e.g. writing to an external DB, calling an API) aren't covered →
    still need idempotency for those
⚠️ Has OVERHEAD (transactions, coordination) → performance cost
→ often AT-LEAST-ONCE + idempotent processing is simpler and sufficient → use exactly-once
  when truly needed (duplicates unacceptable and idempotency hard)
```

## Miért fontos

Az exactly-once feldolgozás működésének megértése a Kafkában értékes senior szintű tudás, mivel **az exactly-once egy fontos, de gyakran félreértett garanicia**, így a működésének és korlátainak megértése mélyebb Kafka ismeretet tükröz.

Az exactly-once semantika (nincs adatvesztés, nincsenek duplikátumok annak ellenére, hogy hibák vannak) kívánatos, de valójában nehéz elosztott rendszerekben, ahol az újrapróbálkozások és duplikátumok elkerülhetetlenek, és annak megértése, hogyan éri el ezt a Kafka (és annak korlátai), összetett tudás.

A **kihívás** megértése — hogy az exactly-once megköveteli az adatvesztés és a duplikátumok elkerülését az elkerülhetetlen hibák és újrapróbálkozások ellenére — keretez egy választ arra, hogy miért nehéz.

Annak megértése, **hogyan éri el ezt a Kafka** — **idempotens producerek** (az újrapróbálkozások deduplikálása sorozatszámok segítségével, így az újrapróbálkozás okozta duplikátumok egy írásba kerülnek) és **tranzakciók** (az írások és offset commitok atomikus csoportosítása, amely lehetővé teszi a „fogyasztás-feldolgozás-produkció