Hogyan kezelsz hibákat és sikertelen üzeneteket a Kafka-ban?

Question

Accepted Answer

A **hibák és sikertelen üzenetek** kezelése fontos a megbízható Kafka fogyasztók számára — meg kell dönteni, mit tegyelek, ha egy üzenet feldolgozása meghiúsul (újrapróbálkozás, kihagyás vagy a **halott levelek sorba (dead letter queue)** irányítás). A megfelelő hibakezelés megakadályozza az adatvesztést és a rögzített fogyasztókat.

## A probléma: feldolgozási hibák

```text
When a consumer fails to PROCESS a message (bad data, downstream failure, bug):
  → BLOCKING retry forever → the consumer gets STUCK on a "poison" message (can't progress)
  → skipping silently → data LOSS (the message is lost)
  → crashing → consumer restarts, reprocesses, may get stuck again
→ need a deliberate error-handling strategy.
```

## Hibakezelési stratégiák

```text
✓ RETRY (with limits) → retry transient failures (with backoff); but LIMIT retries (don't
  retry forever on a permanent failure)
✓ DEAD LETTER QUEUE (DLQ) → after retries fail, send the message to a separate DLQ TOPIC →
  the consumer moves on (not stuck); the DLQ is inspected/reprocessed later
  → the standard way to handle messages that can't be processed (avoids blocking + loss)
✓ Distinguish TRANSIENT (retry) vs PERMANENT (DLQ/skip) failures
✓ IDEMPOTENT processing → safe retries/reprocessing (at-least-once → duplicates)
```

## Gyakorlati megfontolások

```text
✓ Don't let one bad message BLOCK the partition (move it aside via DLQ → keep progressing)
✓ LOG/ALERT on errors and DLQ messages (visibility — don't lose track of failures)
✓ Manual offset commit → control exactly what's marked processed
✓ Monitor DLQ → failed messages need attention (a growing DLQ signals problems)
```

## Miért számít

A hibák és sikertelen üzenetek kezelésének megértése értékes, mivel **a megfelelő hibakezelés elengedhetetlen a megbízható Kafka fogyasztók számára**, így ez fontos gyakorlati tudás.

Ha egy fogyasztó nem tud feldolgozni egy üzenetet, a naiv megközelítés problémákat okoz: a korlátlan újrapróbálkozási kísérletek a fogyasztót egy "mérgezett" üzenetnél rögzítik (nem tud előrehaladni), a csendes kihagyás **adatvesztést** okoz, és az összeomlás újrafeldolgozáshoz és ismételt rögzítéshez vezet — így szükséges egy szándékos hibakezelési stratégia.

A **stratégiák** megértése — a **korlátozott újrapróbálkozás** (tranziens hibák újrapróbálkozása visszalépéssel, de a korlátozott kísérletek az örökös újrapróbálkozás elkerülésére maradó hibákon), a **halott levelek sora (DLQ)** minta (az újrapróbálkozások meghiúsulása után az üzenet egy külön DLQ témakörbe küldésével a fogyasztó továbblép, nem ragad meg, és a DLQ később ellenőrzik és újrafeldolgozzák — az a szabványos mód a feldolgozhatatlan üzenetek kezelésére, elkerülve a blokkolást és az adatvesztést), a tranziens (újrapróbálkozás) és az állandó (DLQ) hibák megkülönböztetése, valamint az idempotens feldolgozás (biztonságos újrapróbálkozásokhoz) — ez a kulcs gyakorlati tudás a megbízható fogyasztók létrehozásához.

A **DLQ minta** különösen az a szabványos megoldás a mérgezett üzenet problémájára, amely lehetővé teszi a fogyasztók számára, hogy folytassák az előrehaladást, miközben megőrzik a sikertelen üzeneteket későbbi kezelésre.

A **gyakorlati megfontolások** megértése — ne hagyd, hogy egy rossz üzenet blokkolja a partíciót (a DLQ használatával az előrehaladás fenntartásához), a hibák és DLQ üzenetek naplózása és riasztása (láthatóság), a manuális offset-megbízások az irányításért, valamint a DLQ monitorozása (mivel a növekvő DLQ problémákat jelzi) — ez a robusztus hibakezelést tükrözi.

A megfelelő hibakezelés megakadályozza a rögzített fogyasztók (blokkolás) és az adatvesztés (csendes kihagyás) valós problémáit, amelyeket a naiv megközelítés okoz.

Mivel a megfelelő hibakezelés (korlátozott újrapróbálkozás, halott levelek sorai, hibatípusok megkülönböztetése, idempotencia) elengedhetetlen a megbízható Kafka fogyasztók számára — megelőzve a rögzített fogyasztókat és az adatvesztést — és a DLQ minta a szabványos megoldás, valamint mivel ezeknek a stratégiáknak a megértése fontos gyakorlati tudás, a Kafka-ban a hibák és sikertelen üzenetek kezelésének megértése értékes, gyakorlatilag releváns tudás — elengedhetetlen a megbízható fogyasztók számára, amely a halott levelek sorainak mintájára összpontosít a feldolgozhatatlan üzenetek kezelésére blokkolás vagy adatvesztés nélkül, és fontos a robusztus Kafka fogyasztók létrehozásához, amelyek az elkerülhetetlen feldolgozási hibákat elegánsan kezelik.