Kako funkcionira obrada s točno jednom obradom u Kafki?

Question

Accepted Answer

**Semantika točno-jedne obrade (EOS)** osigurava da se svaka poruka obradi točno jednom — bez gubitaka, bez duplikata — čak i pri kvarovima i pokušajima ponovnog pokušaja. Kafka to postiže kroz **idempotentne proizvođače** i **transakcije**, iako je to složeno i ima režiju.

## Izazov

```text
Exactly-once is HARD in distributed systems (failures, retries, duplicates are inevitable):
  → producer retries → duplicate messages; consumer reprocessing → duplicate effects
  → naive at-least-once → duplicates; at-most-once → loss
→ exactly-once requires careful mechanisms to avoid BOTH loss AND duplicates.
```

## Kako Kafka postiže točno-jednu obradu

```text
1. IDEMPOTENT PRODUCER (enable.idempotence=true):
  → the producer dedupes retries (sequence numbers per partition) → producing the same
    message twice (due to a retry) results in ONE write (no duplicates from retries)
2. TRANSACTIONS:
  → group writes (and consumer offset commits) into an ATOMIC transaction → all succeed
    or all roll back
  → enables "consume-process-produce" atomically: read, process, write results + commit
    offsets together → exactly-once across the pipeline (within Kafka)
→ Kafka Streams uses these for end-to-end exactly-once processing
```

## Opseg i kompromisi

```text
⚠️ Exactly-once is WITHIN KAFKA (consume-process-produce to Kafka):
  → EXTERNAL side effects (e.g. writing to an external DB, calling an API) aren't covered →
    still need idempotency for those
⚠️ Has OVERHEAD (transactions, coordination) → performance cost
→ often AT-LEAST-ONCE + idempotent processing is simpler and sufficient → use exactly-once
  when truly needed (duplicates unacceptable and idempotency hard)
```

## Zašto je važno

Razumijevanje kako funkcionira obrada s točno jednom obradom u Kafki je dragocjeno znanje za starije inženjere jer je **točno-jednom obrada važna ali često pogrešno razumljena garancija**, pa razumijevanje kako funkcionira i njezinih ograničenja odražava dublji znanja o Kafki.

Semanrika točno-jedne obrade (bez gubitaka, bez duplikata unatoč kvarovima) je poželjna ali zaista teška u distribuiranim sustavima gdje su pokušaji ponovnog pokušaja i duplikati neizbježni, a razumijevanje kako Kafka to postiže (i njezinih ograničenja) je sofisticiran znanja.

Razumijevanje **izazova** — da točno-jednom obrada zahtijeva izbjegavanje i gubitaka i duplikata unatoč neizbježnim kvarovima i pokušajima ponovnog pokušaja — objašnjava zašto je to teško.

Razumijevanje **kako Kafka to postiže** — **idempotentni proizvođači** (uklanjanje duplikata kod pokušaja ponovnog pokušaja putem rednih brojeva tako da duplikati uzrokovani ponovnim pokušajima rezultiraju jednom napisom) i **transakcije** (grupiranje upisa i potvrde pomaka atomski, omogućavajući uzorak "čitaj-obradi-piši" gdje čitanje, obrada i pisanje rezultata plus potvrda pomaka dogode se atomski — točno-jednom kroz cijelu liniju u Kafki), s Kafka Streams koji koristi ova za krajnju točno-jednu obradu — objašnjava mehanizme.

Kritično je razumijevanje **opsega i kompromisa** ono što odražava dublji, točan undesranding: točno-jednom je **unutar Kafke** (čitaj-obradi-piši u Kafku), pa **vanjski nusefekti** (pisanje u vanjsku bazu podataka, pozivanje API-ja) **nisu pokriveni** i dalje trebaju vlastitu idempotentnost — često pogrešno razumljeno ograničenje.

I točno-jednom ima **režiju** (transakcije, koordinacija), pa je **najmanje-jednom plus idempotentna obrada često jednostavnije i dovoljno**, s točno-jednom rezerviranom za kada su duplikati zaista neprihvatljivi i idempotentnost je teška.

Ovo uravnoteženo razumijevanje — znanje kako funkcionira točno-jednom, njen stvaran opseg (unutar Kafke, ne vanjski), i da je često nepotrebna — odražava točan, sofisticiran Kafka znanja koje izbjegava često pogrešno uvjerenje da točno-jednom rješava sve probleme duplikata.

Budući da je točno-jednom važna ali često pogrešno razumljena garancija, i razumijevanje kako Kafka to postiže (idempotentni proizvođači, transakcije), njen stvaran opseg (unutar Kafke, ne vanjski nusefekti), i kada je zapravo potrebna odražava dublji, točan Kafka znanja, razumijevanje kako funkcionira obrada s točno jednom obradom u Kafki je dragocjeno znanja za starije inženjere — važno za točan undesranding ove poželjne ali složene garancije, njezinih mehanizama (idempotentni proizvođači, transakcije), i kritično njezinih ograničenja (samo unutar Kafke, s režijom), odražavajući sofisticiran, točan undesranding koji se očekuje od starijih inženjera koji rade s pouzdanošću Kafke.