Kaip tvarkote klaidas ir nepavykusius pranešimus Kafkoje?

Question

Accepted Answer

Tvarkyti **klaidas ir nepavykusius pranešimus** yra svarbu patikimiems Kafka vartotojams — sprendžiant, ką daryti, kai pranešimo apdorojimas nepavyksta (pakartoti, praleisti arba nukreipti į **mirties laišką eilę**). Tinkama klaidų tvarkymas išlaiko duomenis ir sustabdo užstrigusias vartotojus.

## Problema: apdorojimo nesėkmės

```text
When a consumer fails to PROCESS a message (bad data, downstream failure, bug):
  → BLOCKING retry forever → the consumer gets STUCK on a "poison" message (can't progress)
  → skipping silently → data LOSS (the message is lost)
  → crashing → consumer restarts, reprocesses, may get stuck again
→ need a deliberate error-handling strategy.
```

## Klaidų tvarkos strategijos

```text
✓ RETRY (with limits) → retry transient failures (with backoff); but LIMIT retries (don't
  retry forever on a permanent failure)
✓ DEAD LETTER QUEUE (DLQ) → after retries fail, send the message to a separate DLQ TOPIC →
  the consumer moves on (not stuck); the DLQ is inspected/reprocessed later
  → the standard way to handle messages that can't be processed (avoids blocking + loss)
✓ Distinguish TRANSIENT (retry) vs PERMANENT (DLQ/skip) failures
✓ IDEMPOTENT processing → safe retries/reprocessing (at-least-once → duplicates)
```

## Praktiniai aspektai

```text
✓ Don't let one bad message BLOCK the partition (move it aside via DLQ → keep progressing)
✓ LOG/ALERT on errors and DLQ messages (visibility — don't lose track of failures)
✓ Manual offset commit → control exactly what's marked processed
✓ Monitor DLQ → failed messages need attention (a growing DLQ signals problems)
```

## Kodėl tai svarbu

Supratimas, kaip tvarkyti klaidas ir nepavykusius pranešimus, yra vertingas, nes **tinkama klaidų tvarkyba yra esminė patikimiems Kafka vartotojams**, todėl tai yra svarbi praktinė žinias.

Kai vartotojas nepavyksta apdoroti pranešimo, naiva tvarkyba sukelia problemas: begaliniai kartojimo bandymai sustabdo vartotoją ties "nuodu" pranešimu (negalima tęsti), tylus praleisti sukelia **duomenų praradimą**, o sutrūkimas veda į perprocesavimą ir vėl užstrigimą — todėl reikalinga numatytas klaidų tvarkos strategija.

Supratimas apie **strategijas** — **riboto kartojimo su atidėjimu** (kartojant trumpalaikės klaidas su eksponentinių atidėjimu, bet ribojant bandymus, kad būtų išvengta amžino kartojimo dėl nuolatinių klaidų), **mirties laiško (DLQ) modelį** (atlikus nesėkmingus bandymus, pranešimas siunčiamas į atskirą DLQ temą, kad vartotojas galėtų tęsti, o ne užstrigti, o DLQ vėliau tikrinamas ir perprocesavimas — standartinis būdas tvarkyti neapdorojamus pranešimus, išvengiant blokavimo ir praradimo), trumpalaikių (kartoti) ir nuolatinių (DLQ) klaidų atskyrimas, ir idempotentinis apdorojimas (saugiam kartojimui) — yra pagrindinė praktinė žinias patikimiems vartotojams kurti.

**DLQ modelis** ypač yra standartinis nuodu pranešimo problemos sprendimas, leidžiantis vartotojams tęsti progresą, o nepavykę pranešimai išsaugomi vėlesnei tvarkai.

Supratimas apie **praktinius aspektus** — neleidžiant vienam blogam pranešimui blokuoti skaidą (naudojant DLQ progresui tęsti), klaidų ir DLQ pranešimų žurnalizavimą ir perspėjimą (matomumą), rankinio offset commit'o valdymą ir DLQ stebėjimą (kadangi didėjantis DLQ signalizuoja problemas) — atspindi tvirtą klaidų tvarkę.

Tinkama klaidų tvarkyba išveda realias problemas užstrigusių vartotojų (blokavimas) ir duomenų praradimo (tylus praleidi), kurią sukelia naiva tvarkyba.

Kadangi tinkama klaidų tvarkyba (riboto kartojimo, mirties eilės, klaidų tipų atskyrimas, idempotentija) yra esminė patikimiems Kafka vartotojams — išvengiama užstrigusių vartotojų ir duomenų praradimo — o DLQ modelis yra standartinis sprendimas, ir kadangi supratimas apie šias strategijas yra svarbi praktinė žinias, supratimas, kaip tvarkyti klaidas ir nepavykusius pranešimus Kafkoje, yra vertingas, praktiškai aktualus žinias — esminė patikimiems vartotojams, centruota mirties eilės modelyje neapdorojamų pranešimų tvarkymui be blokavimo ar duomenų praradimo, ir svarbi tvirtų Kafka vartotojų, tvarkaščių neišvengiamas apdorojimo nesėkmes gracefully, kūrimui.