Kako upravljaš greškama i neuspješnima porukama u Kafki?

Question

Accepted Answer

Upravljanje **greškama i neuspješnim porukama** važno je za pouzdane Kafka konzumente — odlučivanje što učiniti kada obrada poruke ne uspije (ponovni pokušaj, preskakanje ili usmjeravanje na **red čekanja neispravnih poruka**). Pravilno upravljanje greškama sprječava gubitak podataka i zapinjene konzumente.

## Problem: greške u obradi

```text
When a consumer fails to PROCESS a message (bad data, downstream failure, bug):
  → BLOCKING retry forever → the consumer gets STUCK on a "poison" message (can't progress)
  → skipping silently → data LOSS (the message is lost)
  → crashing → consumer restarts, reprocesses, may get stuck again
→ need a deliberate error-handling strategy.
```

## Strategije upravljanja greškama

```text
✓ RETRY (with limits) → retry transient failures (with backoff); but LIMIT retries (don't
  retry forever on a permanent failure)
✓ DEAD LETTER QUEUE (DLQ) → after retries fail, send the message to a separate DLQ TOPIC →
  the consumer moves on (not stuck); the DLQ is inspected/reprocessed later
  → the standard way to handle messages that can't be processed (avoids blocking + loss)
✓ Distinguish TRANSIENT (retry) vs PERMANENT (DLQ/skip) failures
✓ IDEMPOTENT processing → safe retries/reprocessing (at-least-once → duplicates)
```

## Praktična razmatranja

```text
✓ Don't let one bad message BLOCK the partition (move it aside via DLQ → keep progressing)
✓ LOG/ALERT on errors and DLQ messages (visibility — don't lose track of failures)
✓ Manual offset commit → control exactly what's marked processed
✓ Monitor DLQ → failed messages need attention (a growing DLQ signals problems)
```

## Zašto je to važno

Razumijevanje kako upravljati greškama i neuspješnim porukama vrijedno je jer je **pravilno upravljanje greškama bitno za pouzdane Kafka konzumente**, pa je to važno praktičko znanje.

Kada konzument ne uspije obraditi poruku, naivno upravljanje izaziva probleme: blokirajući ponovni pokušaj zauvijek zapinja konzumenta na "otrovnoj" poruci (ne može napredovati), tiho preskakanje uzrokuje **gubitak podataka**, a rušenje dovodi do ponovne obrade i zapinjenja — zato je potrebna namjerna strategija upravljanja greškama.

Razumijevanje **strategija** — **ponovnog pokušaja s ograničenjima** (ponovni pokušaj privremenih greške s backoff-om ali ograničavanjem pokušaja da bi se izbjeglo večiti pokušaj na trajnim greškama), **uzorak red čekanja neispravnih poruka (DLQ)** (nakon neuspješnih pokušaja, slanje poruke na odvojena DLQ temu kako bi konzument nastavio umjesto da bude zapinjen, s DLQ-om koji se kasnije inspicira i ponovno obradi — standardan način rukovanja neobradivim porukama, izbjegavajući i blokiranje i gubitak), razlikovanje privremenih (ponovni pokušaj) naspram trajnih (DLQ) greške, i idempotentne obrade (za sigurne ponovne pokušaje) — je ključno praktičko znanje za izgradnju pouzdanih konzumenata.

Uzorak **DLQ** posebno je standardno rješenje problema otrovne poruke, omogućujući konzumentima da nastavljaju napredovati dok čuvaju neuspješne poruke za kasniji rad.

Razumijevanje **praktičnih razmatranja** — ne dozvoljavajući da jedna loša poruka blokira particiju (korištenje DLQ za nastavak napredovanja), logiranje i upozoravanje na greške i DLQ poruke (vidljivost), ručne commit-e offset-a za kontrolu, i praćenje DLQ-a (jer rastući DLQ signalizira probleme) — odražava robusno upravljanje greškama.

Pravilno upravljanje greškama sprječava stvarne probleme zapinjenih konzumenata (blokiranje) i gubitka podataka (tiho preskakanje) koja naivna upravljanja izaziva.

Budući da je pravilno upravljanje greškama (ponovni pokušaji s ograničenjima, red čekanja neispravnih poruka, razlikovanje tipova greške, idempotencija) bitno za pouzdane Kafka konzumente — sprječavajući zapinjene konzumente i gubitak podataka — i uzorak DLQ je standardno rješenje, i budući da je razumijevanje ovih strategija važno praktičko znanje, razumijevanje kako upravljati greškama i neuspješnim porukama u Kafki je vrijedno, praktički relevantno znanje — bitno za pouzdane konzumente, usredotočeno na uzorak red čekanja neispravnih poruka za rukovanje neobradivim porukama bez blokiranje ili gubitka podataka, i važno za izgradnju robusnih Kafka konzumenata koji gode rukuju neizbježnim greškama pri obradi.