Kokie yra Kafka pristatymo semantika (bent kartą, tiksliai kartą)?

Question

Accepted Answer

Kafka palaiko skirtingas **pristatymo garantijas** — **ne daugiau nei kartą**, **bent kartą** ir **tiksliai kartą** — kurios nustato, ar pranešimai gali būti prarastas arba pakartoti. Šių supratimas ir žinojimas, kaip jų pasiekti, yra svarbus kuriant patikimas sistemas.

## Trys pristatymo semantikos

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Garantijų pasiekimas

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## Praktinis patarimas

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## Kodėl tai svarbu

Kafka pristatymo semantikos supratimas yra vertingas, nes **pristatymo garantijos nustato patikimumą** (ar pranešimai gali būti prarastas arba pakartoti), todėl jų supratimas yra svarbus kuriant patikimas sistemas.

Pristatymo semantikos pasirinkimas tiesiogiai veikia teisingumą.

Supratimas apie **tris pristatymo semantikos** — **ne daugiau nei kartą** (pranešimai gali būti prarastas, bet ne pakartoti, atliekant offset commit prieš apdorojimą — kai nedidelis praradimas yra priimtinas), **bent kartą** (pranešimai niekada neprarandami, bet gali būti pakartoti, atliekant commit po apdorojimo, reikalingus **idempotentiško** apdorojimo — bendri, saugus numatytasis variantas) ir **tiksliai kartą** (kiekvienas pranešimas apdorotas tiksliai kartą, stipriausias, bet sunkiausias, reikalingos transakcijos ir idempotentiniai autorinės sistemos) — yra būtinas patikimumo kompromisų supratymui.

Supratimas apie **kaip pasiekti garantijas** — bent kartą apdorojant ir tada atliekant commit bei dariant vartotojus **idempotentiniais** (tvarkyti dublikatus naudojant dedup raktus ir idempotentinius veiksmus — praktiški ir bendri), ir tiksliai kartą naudojant Kafka transakcijų API ir idempotentinius autorinės sistemos (atlikti ir commit offset atom), su svarbia pastaba, kad tiksliai kartą yra sudėtingas su pridėtine išlaida, o **bent kartą su idempotentskumu dažnai yra paprastesnis ir pakankamas** — atspindi praktinį požiūrį.

Supratimas apie **praktinį patarimas** — kad dauguma sistemų naudoja bent kartą su idempotentiniu apdorojimu (paprastas ir patikimas), naudojant tiksliai kartą tik tada, kai dublikatai yra tikrai nepriimtini ir idempotentskumas yra sunkus, ir naudojant autorinės sistemos ack dėl darymo — atspindi gerą projektavimo sprendimą.

Pagrindinė mintis yra ta, kad pristatymo semantika apima kompromisus (praradimas prieš dublikatus prieš sudėtingumą), o bendri, praktiški pasirinkimas yra bent kartą su idempotentskumu, kuris sujungiamas su platesniu idempotentiškumo svarbą paskirstytose sistemose.

Kadangi pristatymo garantijos nustato, ar pranešimai gali būti prarastas arba pakartoti (tiesiogiai veikiantys patikimumą) ir semantikos supratimas, kaip jų pasiekti (ypač bent kartą su idempotentskumu kaip praktinis numatytasis), ir kompromisus yra svarbus kuriant patikimas sistemas, Kafka pristatymo semantikos supratimas yra vertingas, praktiškai svarbus Kafka žinojimas — centrinis patikimumui, svarbus sistemų projektavimui su tinkamomis garantijomis (dažniausiai bent kartą su idempotentskumu), ir atspindi supratimą, reikalingą kuriant patikimas Kafka pagrįstas sistemas.