Bagaimana Anda menangani kesalahan dan pesan yang gagal di Kafka?

Question

Accepted Answer

Menangani **kesalahan dan pesan yang gagal** penting untuk konsumen Kafka yang andal — memutuskan apa yang harus dilakukan ketika pemrosesan pesan gagal (coba lagi, lewati, atau arahkan ke **dead letter queue**). Penanganan kesalahan yang tepat mencegah kehilangan data dan konsumen yang tersangkut.

## Masalah: kegagalan pemrosesan

```text
When a consumer fails to PROCESS a message (bad data, downstream failure, bug):
  → BLOCKING retry forever → the consumer gets STUCK on a "poison" message (can't progress)
  → skipping silently → data LOSS (the message is lost)
  → crashing → consumer restarts, reprocesses, may get stuck again
→ need a deliberate error-handling strategy.
```

## Strategi penanganan kesalahan

```text
✓ RETRY (with limits) → retry transient failures (with backoff); but LIMIT retries (don't
  retry forever on a permanent failure)
✓ DEAD LETTER QUEUE (DLQ) → after retries fail, send the message to a separate DLQ TOPIC →
  the consumer moves on (not stuck); the DLQ is inspected/reprocessed later
  → the standard way to handle messages that can't be processed (avoids blocking + loss)
✓ Distinguish TRANSIENT (retry) vs PERMANENT (DLQ/skip) failures
✓ IDEMPOTENT processing → safe retries/reprocessing (at-least-once → duplicates)
```

## Pertimbangan praktis

```text
✓ Don't let one bad message BLOCK the partition (move it aside via DLQ → keep progressing)
✓ LOG/ALERT on errors and DLQ messages (visibility — don't lose track of failures)
✓ Manual offset commit → control exactly what's marked processed
✓ Monitor DLQ → failed messages need attention (a growing DLQ signals problems)
```

## Mengapa ini penting

Memahami cara menangani kesalahan dan pesan yang gagal sangat berharga karena **penanganan kesalahan yang tepat adalah penting untuk konsumen Kafka yang andal**, jadi ini adalah pengetahuan praktis yang penting.

Ketika konsumen gagal memproses pesan, penanganan naif menyebabkan masalah: pengulangan pemblokiran selamanya membuat konsumen **tersangkut pada pesan "poison"** (tidak dapat melanjutkan), melewati secara diam-diam menyebabkan **kehilangan data**, dan crash menyebabkan pemrosesan ulang dan tersangkut lagi — jadi strategi penanganan kesalahan yang disengaja diperlukan.

Memahami **strategi** — **pengulangan dengan batas** (mengulang kegagalan transien dengan backoff tetapi membatasi pengulangan untuk menghindari pengulangan selamanya pada kegagalan permanen), pola **dead letter queue (DLQ)** (setelah pengulangan gagal, mengirim pesan ke topik DLQ terpisah sehingga konsumen melanjutkan daripada tersangkut, dengan DLQ diperiksa dan diproses ulang nanti — cara standar untuk menangani pesan yang tidak dapat diproses, menghindari pemblokiran dan kehilangan), membedakan kegagalan transien (coba lagi) vs permanen (DLQ), dan pemrosesan idempoten (untuk pengulangan yang aman) — adalah pengetahuan praktis kunci untuk membangun konsumen yang andal.

Pola **DLQ** khususnya adalah solusi standar untuk masalah poison-message, memungkinkan konsumen untuk terus melanjutkan sambil menyimpan pesan yang gagal untuk penanganan nanti.

Memahami **pertimbangan praktis** — tidak membiarkan satu pesan buruk memblokir partisi (menggunakan DLQ untuk terus melanjutkan), pencatatan dan peringatan pada kesalahan dan pesan DLQ (visibilitas), commit offset manual untuk kontrol, dan pemantauan DLQ (karena DLQ yang berkembang menandakan masalah) — mencerminkan penanganan kesalahan yang robust.

Penanganan kesalahan yang tepat mencegah masalah nyata dari konsumen yang tersangkut (pemblokiran) dan kehilangan data (lewat diam-diam) yang disebabkan penanganan naif.

Karena penanganan kesalahan yang tepat (pengulangan dengan batas, dead letter queues, membedakan jenis kegagalan, idempotency) penting untuk konsumen Kafka yang andal — mencegah konsumen yang tersangkut dan kehilangan data — dan pola DLQ adalah solusi standar, dan karena memahami strategi ini adalah pengetahuan praktis yang penting, memahami cara menangani kesalahan dan pesan yang gagal di Kafka adalah pengetahuan yang berharga dan relevan secara praktis — penting untuk konsumen yang andal, berpusat pada pola dead-letter-queue untuk menangani pesan yang tidak dapat diproses tanpa pemblokiran atau kehilangan data, dan penting untuk membangun konsumen Kafka yang robust yang menangani kegagalan pemrosesan yang tak terhindarkan dengan baik.