Jak přesně funguje zpracování s garancí exactly-once v Kafce?

Question

Accepted Answer

**Exactly-once semantics (EOS)** zajišťuje, že každá zpráva je zpracována přesně jednou — bez ztráty, bez duplikátů — i v případě selhání a opakování. Kafka toho dosahuje prostřednictvím **idempotentních producentů** a **transakcí**, ačkoli je to složité a má režijní náklady.

## Výzva

```text
Exactly-once is HARD in distributed systems (failures, retries, duplicates are inevitable):
  → producer retries → duplicate messages; consumer reprocessing → duplicate effects
  → naive at-least-once → duplicates; at-most-once → loss
→ exactly-once requires careful mechanisms to avoid BOTH loss AND duplicates.
```

## Jak Kafka dosahuje exactly-once

```text
1. IDEMPOTENT PRODUCER (enable.idempotence=true):
  → the producer dedupes retries (sequence numbers per partition) → producing the same
    message twice (due to a retry) results in ONE write (no duplicates from retries)
2. TRANSACTIONS:
  → group writes (and consumer offset commits) into an ATOMIC transaction → all succeed
    or all roll back
  → enables "consume-process-produce" atomically: read, process, write results + commit
    offsets together → exactly-once across the pipeline (within Kafka)
→ Kafka Streams uses these for end-to-end exactly-once processing
```

## Rozsah a kompromisy

```text
⚠️ Exactly-once is WITHIN KAFKA (consume-process-produce to Kafka):
  → EXTERNAL side effects (e.g. writing to an external DB, calling an API) aren't covered →
    still need idempotency for those
⚠️ Has OVERHEAD (transactions, coordination) → performance cost
→ often AT-LEAST-ONCE + idempotent processing is simpler and sufficient → use exactly-once
  when truly needed (duplicates unacceptable and idempotency hard)
```

## Proč na tom záleží

Rozumět tomu, jak funguje zpracování s garancí exactly-once v Kafce, je cenné znalosti na úrovni seniora, protože **exactly-once je důležitá, ale běžně nepochopená záruka**, a porozumění tomu, jak to funguje a jaká jsou její omezení, odráží hlubší znalosti Kafky.

Exactly-once semantika (bez ztráty, bez duplikátů navzdory selháním) je žádoucí, ale opravdu obtížná v distribuovaných systémech, kde jsou opakování a duplikáty nevyhnutelné, a porozumění tomu, jak to Kafka dosahuje (a jaká jsou její omezení), je sofistikovaná znalost.

Porozumění **výzvě** — že exactly-once vyžaduje vyhnutí se jak ztrátě, tak duplikátům navzdory nevyhnutelným selháním a opakováním — objasňuje, proč je to obtížné.

Porozumění **tomu, jak to Kafka dosahuje** — **idempotentní producenti** (deduplikace opakování prostřednictvím pořadových čísel, takže duplikáty způsobené opakováním mají za výsledek jeden zápis) a **transakce** (seskupení zápisů a potvrzení offsetů atomicky, což umožňuje vzor "consume-process-produce", kde čtení, zpracování, zápis výsledků a potvrzení offsetů probíhají atomicky — exactly-once v celém pipeline v rámci Kafky), přičemž Kafka Streams tyto mechanismy používá pro end-to-end exactly-once — vysvětluje mechanismy.

Kriticky, porozumění **rozsahu a kompromisům** je to, co odráží hlubší, přesné porozumění: exactly-once je **v rámci Kafky** (consume-process-produce do Kafky), takže **externí vedlejší efekty** (zápis do externí databáze, volání API) **nejsou pokryty** a stále potřebují svou vlastní idempotenci — běžně nepochopované omezení.

A exactly-once má **režijní náklady** (transakce, koordinace), takže **at-least-once plus idempotentní zpracování je často jednodušší a postačující**, s exactly-once rezervovanou na situace, kdy duplikáty jsou opravdu nepřijatelné a idempotence je obtížná.

Toto vyvážené porozumění — vědět, jak exactly-once funguje, jeho skutečný rozsah (v rámci Kafky, ne externí), a že je to často zbytečné — odráží přesné, sofistikované znalosti Kafky, která se vyhýbá běžné mylné představě, že exactly-once řeší všechny obavy ohledně duplikátů.

Protože exactly-once je důležitá, ale běžně nepochopená záruka, a porozumění tomu, jak ji Kafka dosahuje (idempotentní producenti, transakce), její skutečný rozsah (v rámci Kafky, ne externí vedlejší efekty) a kdy je skutečně potřeba, odráží hlubší, přesné znalosti Kafky, je porozumění tomu, jak zpracování s garancí exactly-once v Kafce funguje, cenné znalosti na úrovni seniora — důležité pro přesné porozumění této žádoucí, ale složité záruce, jejím mechanismům (idempotentní producenti, transakce) a kriticky jejím omezením (pouze v rámci Kafky, s režijními náklady), což odráží sofistikované, přesné porozumění očekávané od seniorních inženýrů pracujících s reliabilitou Kafky.