Hva er Kafkas leveringssemantikk (at-least-once, exactly-once)?

Question

Accepted Answer

Kafka støtter ulike **leveringsgarantier** — **at-most-once**, **at-least-once**, og **exactly-once** — som bestemmer om meldinger kan gå tapt eller bli duplisert. Å forstå disse og hvordan man oppnår dem er viktig for å bygge pålitelige systemer.

## De tre leveringssemantikkene

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Oppnå garantiene

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## Praktisk veiledning

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## Hvorfor det betyr noe

Å forstå Kafkas leveringssemantikk er verdifullt fordi **leveringsgarantier bestemmer pålitelighet** (om meldinger kan gå tapt eller bli duplisert), så å forstå dem er viktig for å bygge pålitelige systemer.

Valget av leveringssemantikk påvirker direkte korrekthet.

Å forstå **de tre leveringssemantikkene** — **at-most-once** (meldinger kan gå tapt men ikke bli duplisert, ved å confirmere offseten før behandling — for når noe tap er akseptabelt), **at-least-once** (meldinger går aldri tapt men kan være duplisert, ved å confirmere etter behandling, som krever idempotent behandling — det vanlige, trygge valget), og **exactly-once** (hver melding behandles nøyaktig en gang, det sterkeste men vanskeligste, som krever transaksjoner og idempotente produsenter) — er essensielt for å forstå pålitelighetskompromissene.

Å forstå **hvordan oppnå garantiene** — at-least-once ved å behandle deretter confirmere og gjøre consumere **idempotente** (håndtering av duplikater via dedup-nøkler og idempotente operasjoner — praktisk og vanlig), og exactly-once via Kafkas transaksjons-API og idempotent produsent (produksjon og confirmering av offsets atomisk), med det viktige forbehold at exactly-once er komplekst med overhead mens **at-least-once pluss idempotens ofte er enklere og tilstrekkelig** — reflekterer den praktiske tilnærmingen.

Å forstå **den praktiske veiledningen** — at de fleste systemer bruker at-least-once pluss idempotent behandling (enkelt og pålitelig), bruker exactly-once bare når duplikater er virkelig uakseptabelt og idempotens er vanskelig, og bruker producer acks for varighet — reflekterer solid designskjønn.

Hovedinsikten er at leveringssemantikk involverer kompromisser (tap vs duplikater vs kompleksitet), og det vanlige, praktiske valget er at-least-once med idempotens, som henger sammen med den bredere betydningen av idempotens i distribuerte systemer.

Siden leveringsgarantier bestemmer om meldinger kan gå tapt eller bli duplisert (påvirker direkte pålitelighet) og å forstå semantikkene, hvordan oppnå dem (spesielt at-least-once med idempotens som det praktiske valget), og kompromissene er viktig for å bygge pålitelige systemer, er å forstå Kafkas leveringssemantikk verdifullt, praktisk viktig Kafka-kunnskap — sentralt for pålitelighet, viktig for å designe systemer med riktige garantier (vanligvis at-least-once med idempotens), og reflekterer forståelsen som trengs for å bygge pålitelige Kafka-baserte systemer.