ਤੁਸੀ Kafka ਵਿੱਚ ਗਲਤੀਆਂ ਅਤੇ ਅਸਫਲ ਸੰਦੇਸ਼ਾਂ ਨੂੰ ਕਿਵੇਂ ਸੰਭਾਲਦੇ ਹੋ?

Question

Accepted Answer

**ਗਲਤੀਆਂ ਅਤੇ ਅਸਫਲ ਸੰਦੇਸ਼ਾਂ** ਨੂੰ ਸੰਭਾਲਣਾ ਭਰੋਸੇਮੰਦ Kafka consumers ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ — ਇਹ ਤੈਅ ਕਰਨਾ ਕਿ ਜਦੋਂ ਕੋਈ ਸੰਦੇਸ਼ ਪ੍ਰਕਿਰਿਆ ਅਸਫਲ ਹੋ ਤਾਂ ਕੀ ਕਰਨਾ ਹੈ (ਮੁੜ ਕੋਸ਼ਿਸ਼ ਕਰੋ, ਛੱਡ ਦੋ, ਜਾਂ **dead letter queue** ਨੂੰ ਰੂਟ ਕਰੋ)। ਸਹੀ ਗਲਤੀ ਹੈਂਡਲਿੰਗ ਡੇਟਾ ਦੀ ਨੁਕਸਾਨ ਅਤੇ ਅਟਕਿਆ ਹੋਇਆ consumers ਨੂੰ ਰੋਕਦਾ ਹੈ।

## ਸਮੱਸਿਆ: ਪ੍ਰਕਿਰਿਆ ਅਸਫਲਤਾ

```text
When a consumer fails to PROCESS a message (bad data, downstream failure, bug):
  → BLOCKING retry forever → the consumer gets STUCK on a "poison" message (can't progress)
  → skipping silently → data LOSS (the message is lost)
  → crashing → consumer restarts, reprocesses, may get stuck again
→ need a deliberate error-handling strategy.
```

## ਗਲਤੀ-ਹੈਂਡਲਿੰਗ ਕ਌ਸ਼ਲ

```text
✓ RETRY (with limits) → retry transient failures (with backoff); but LIMIT retries (don't
  retry forever on a permanent failure)
✓ DEAD LETTER QUEUE (DLQ) → after retries fail, send the message to a separate DLQ TOPIC →
  the consumer moves on (not stuck); the DLQ is inspected/reprocessed later
  → the standard way to handle messages that can't be processed (avoids blocking + loss)
✓ Distinguish TRANSIENT (retry) vs PERMANENT (DLQ/skip) failures
✓ IDEMPOTENT processing → safe retries/reprocessing (at-least-once → duplicates)
```

## ਵਿਹਾਰਕ ਵਿਚਾਰ

```text
✓ Don't let one bad message BLOCK the partition (move it aside via DLQ → keep progressing)
✓ LOG/ALERT on errors and DLQ messages (visibility — don't lose track of failures)
✓ Manual offset commit → control exactly what's marked processed
✓ Monitor DLQ → failed messages need attention (a growing DLQ signals problems)
```

## ਇਹ ਮਹੱਤਵਪੂਰਨ ਕਿਉਂ ਹੈ

ਇਹ ਸਮਝਣਾ ਕਿ ਗਲਤੀਆਂ ਅਤੇ ਅਸਫਲ ਸੰਦੇਸ਼ਾਂ ਨੂੰ ਕਿਵੇਂ ਸੰਭਾਲਨਾ ਹੈ ਕੀਮਤੀ ਹੈ ਕਿਉਂਕਿ **ਸਹੀ ਗਲਤੀ ਹੈਂਡਲਿੰਗ ਭਰੋਸੇਮੰਦ Kafka consumers ਲਈ ਜ਼ਰੂਰੀ ਹੈ**, ਇਸ ਲਈ ਇਹ ਮਹੱਤਵਪੂਰਨ ਵਿਹਾਰਕ ਗਿਆਨ ਹੈ।

ਜਦੋਂ ਕੋਈ consumer ਕਿਸੇ ਸੰਦੇਸ਼ ਨੂੰ ਪ੍ਰਕਿਰਿਆ ਕਰਨ ਵਿੱਚ ਅਸਫਲ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਭੋਲੀ-ਭਾਲੀ ਹੈਂਡਲਿੰਗ ਸਮੱਸਿਆਵਾਂ ਦਾ ਕਾਰਨ ਬਣਦੀ ਹੈ: ਬੰਦ ਮੁੜ-ਪ੍ਰਯਾਸ ਹਮੇਸ਼ਾ ਲਈ consumer ਨੂੰ **