Kaip tiksliai veikia "exactly-once" apdorojimas Kafkoje?

Question

Accepted Answer

**Exactly-once semantika (EOS)** užtikrina, kad kiekvienas pranešimas būtų apdorotas tiksliai vieną kartą — be nuostolių, be dublikačių — net susidurant su gedimais ir pakartotiniais bandymais. Kafka tai pasiekia naudodama **idempotentinius gamintojus** ir **transakcijas**, nors tai sudėtinga ir turi pridėtines išlaidas.

## Iššūkis

```text
Exactly-once is HARD in distributed systems (failures, retries, duplicates are inevitable):
  → producer retries → duplicate messages; consumer reprocessing → duplicate effects
  → naive at-least-once → duplicates; at-most-once → loss
→ exactly-once requires careful mechanisms to avoid BOTH loss AND duplicates.
```

## Kaip Kafka pasiekia exactly-once

```text
1. IDEMPOTENT PRODUCER (enable.idempotence=true):
  → the producer dedupes retries (sequence numbers per partition) → producing the same
    message twice (due to a retry) results in ONE write (no duplicates from retries)
2. TRANSACTIONS:
  → group writes (and consumer offset commits) into an ATOMIC transaction → all succeed
    or all roll back
  → enables "consume-process-produce" atomically: read, process, write results + commit
    offsets together → exactly-once across the pipeline (within Kafka)
→ Kafka Streams uses these for end-to-end exactly-once processing
```

## Apimtis ir kompromisai

```text
⚠️ Exactly-once is WITHIN KAFKA (consume-process-produce to Kafka):
  → EXTERNAL side effects (e.g. writing to an external DB, calling an API) aren't covered →
    still need idempotency for those
⚠️ Has OVERHEAD (transactions, coordination) → performance cost
→ often AT-LEAST-ONCE + idempotent processing is simpler and sufficient → use exactly-once
  when truly needed (duplicates unacceptable and idempotency hard)
```

## Kodėl tai svarbu

Supratimas, kaip exactly-once apdorojimas veikia Kafkoje, yra vertinga aukštesnio lygio žinios, nes **exactly-once yra svarbi, bet dažnai klaidingai suprantama garantija**, todėl suprasti, kaip ji veikia ir kokios jos ribos, rodo gilesnę Kafka žinią.

Exactly-once semantika (be nuostolių, be dublikačių nepaisant gedimų) yra pageidaujama, bet genuiniškai sudėtinga paskirstytose sistemose, kur pakartotiniai bandymai ir dublikatai yra neišvengiami, ir supratimas, kaip Kafka tai pasiekia (ir jos ribos), yra itin žinomos žinios.

Supratimas apie **iššūkį** — kad exactly-once reikalauja tiek nuostolių vengimo, tiek dublikačių vengimo nepaisant neišvengiamiems gedimams ir pakartotiniams bandymams — paaiškina, kodėl tai sunku.

Supratimas apie **kaip Kafka tai pasiekia** — **idempotentiniai gamintojai** (deduplikacija pakartotinių bandymų per sekos numerius, todėl pakartotinių bandymų sukelti dublikatai rezultuoja vienu įrašu) ir **transakcijos** (rašymo ir offset commit grupavimas atomiškai, suteikiant galimybę "skaityti-apdoroti-rašyti" šablonui, kuriame skaitymas, apdorojimas ir rezultatų rašymas bei offset įvykdymas vyksta atomiškai — exactly-once visoje Kafkos tarpoje), su Kafka Streams naudojant tai end-to-end exactly-once — paaiškina mechanizmus.

Svarbu suprasti **apimtį ir kompromisus** — tai rodo gilesnį, tikslesnį supratimą: exactly-once yra **Kafkos viduje** (skaityti-apdoroti-rašyti į Kafką), todėl **išoriniai šalutiniai efektai** (rašymas į išorinę duomenų bazę, API iškvieta) **nėra apimti** ir vis dar reikalauja savų idempotentiškumo mechanizmų — dažnai klaidingai suprasta ribota.

Ir exactly-once turi **pridėtines išlaidas** (transakcijos, koordinacija), todėl **at-least-once ir idempotentinis apdorojimas dažnai yra paprastesnis ir pakankamas**, su exactly-once naudojamu tik tada, kai dublikatai yra tikrai nepriimtini ir idempotentiškumas yra sunkus.

Šis subalansuotas supratimas — žinant, kaip exactly-once veikia, jos tikrą apimtį (Kafkos viduje, ne išorinėje), ir kad dažnai ji nereikalinga — rodo tikslią, itin žinią Kafka žinią, kuri vengia bendro netikslaus supratimo, kad exactly-once sprendžia visas dublikačių problemas.

Kadangi exactly-once yra svarbi, bet dažnai klaidingai supranta garantija, ir supratimas, kaip Kafka tai pasiekia (idempotentiniai gamintojai, transakcijos), jos tikrą apimtį (Kafkos viduje, ne išoriniai šalutiniai efektai) ir kada jis iš tikrųjų reikalingas rodo gilesnę, tikslią Kafka žinią, suprasti, kaip exactly-once apdorojimas veikia Kafkoje, yra vertinga aukštesnio lygio žinios — svarbi siekiant tiksliai suprasti šią pageidaujamą, bet sudėtingą garantiją, jos mechanizmus (idempotentiniai gamintojai, transakcijos) ir esminių jos ribų (tik Kafkos viduje, su pridėtinėmis išlaidomis), atspindint itin žinią, tikslią Kafka supratimą, kurio tikimasi iš aukštesnio lygio inžinierių, dirbančių su Kafka patikimumu.