Jaké jsou Kafkovy sémantiky doručení (at-least-once, exactly-once)?

Question

Accepted Answer

Kafka podporuje různé **záruky doručení** — **at-most-once**, **at-least-once** a **exactly-once** — které určují, zda mohou být zprávy ztraceny nebo duplikovány. Pochopení těchto záruk a způsobů jejich dosažení je důležité pro vytváření spolehlivých systémů.

## Tři sémantiky doručení

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Dosažení záruk

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## Praktické pokyny

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## Proč je to důležité

Pochopení Kafkových sémantik doručení je cenné, protože **záruky doručení určují spolehlivost** (zda mohou být zprávy ztraceny nebo duplikovány), takže jejich pochopení je důležité pro vytváření spolehlivých systémů.

Volba sémantiky doručení přímo ovlivňuje správnost.

Pochopení **tří sémantik doručení** — **at-most-once** (zprávy mohou být ztraceny, ale ne duplikovány, potvrzením offsetu před zpracováním — pro případy, kdy je přijatelná příležitostná ztráta), **at-least-once** (zprávy nikdy nejsou ztraceny, ale mohou být duplikovány, potvrzením po zpracování, vyžadující idempotentní zpracování — běžné, bezpečné výchozí nastavení) a **exactly-once** (každá zpráva zpracována přesně jednou, nejsilnější ale nejtěžší, vyžadující transakce a idempotentní producenty) — je nezbytné pro pochopení kompromisů v oblasti spolehlivosti.

Pochopení **způsobu dosažení záruk** — at-least-once zpracováním a potvrzením offsetu a vytvořením **idempotentních** spotřebitelů (zpracováním duplikátů přes klíče dedup a idempotentní operace — praktické a běžné) a exactly-once přes Kafkovy transakční API a idempotentní producenty (producováním a atomickým potvrzením offsetů), s důležitou poznámkou, že exactly-once je složité se zátěží, zatímco **at-least-once plus idempotence je často jednodušší a postačující** — odráží praktický přístup.

Pochopení **praktických pokynů** — že většina systémů používá at-least-once plus idempotentní zpracování (jednoduché a spolehlivé), exactly-once se používá pouze když jsou duplikáty opravdu nepřijatelné a idempotence je těžká, a producenti acks pro trvanlivost — odráží zdravý úsudek v návrhu.

Klíčová myšlenka je, že sémantiky doručení zahrnují kompromisy (ztráta vs duplikáty vs složitost) a běžná praktická volba je at-least-once s idempotencí, která se pojí s širší důležitostí idempotence v distribuovaných systémech.

Podle toho, že záruky doručení určují, zda mohou být zprávy ztraceny nebo duplikovány (přímo ovlivňující spolehlivost) a pochopení sémantik, jejich dosažení (zvláště at-least-once s idempotencí jako praktické výchozí nastavení) a kompromisů je důležité pro vytváření spolehlivých systémů, je pochopení Kafkových sémantik doručení cenné, prakticky důležité Kafkovo znalosti — centrální pro spolehlivost, důležité pro navrhování systémů se správnými zárukamy (běžně at-least-once s idempotencí) a odrážející pochopení potřebné pro vytváření spolehlivých systémů založených na Kafce.