Kafka मा त्रुटिहरू र असफल सन्देशहरू कसरी सम्हाल्नु हुन्छ?

Question

Accepted Answer

**त्रुटिहरू र असफल सन्देशहरू** सम्हाल्नु विश्वस्त Kafka उपभोक्ताहरूको लागि महत्त्वपूर्ण छ — सन्देश प्रक्रिया गर्न असफल हुँदा के गर्ने (पुनः प्रयास गर्नु, छोड्नु, वा **dead letter queue** मा पठाउनु) निर्णय गर्नु। उचित त्रुटि सम्हालनले डेटा हानि र अलमस्त उपभोक्ताहरूलाई रोक्छ।

## समस्या: प्रक्रिया गर्न असफलता

```text
When a consumer fails to PROCESS a message (bad data, downstream failure, bug):
  → BLOCKING retry forever → the consumer gets STUCK on a "poison" message (can't progress)
  → skipping silently → data LOSS (the message is lost)
  → crashing → consumer restarts, reprocesses, may get stuck again
→ need a deliberate error-handling strategy.
```

## त्रुटि-सम्हालन रणनीतिहरू

```text
✓ RETRY (with limits) → retry transient failures (with backoff); but LIMIT retries (don't
  retry forever on a permanent failure)
✓ DEAD LETTER QUEUE (DLQ) → after retries fail, send the message to a separate DLQ TOPIC →
  the consumer moves on (not stuck); the DLQ is inspected/reprocessed later
  → the standard way to handle messages that can't be processed (avoids blocking + loss)
✓ Distinguish TRANSIENT (retry) vs PERMANENT (DLQ/skip) failures
✓ IDEMPOTENT processing → safe retries/reprocessing (at-least-once → duplicates)
```

## व्यावहारिक विचारहरू

```text
✓ Don't let one bad message BLOCK the partition (move it aside via DLQ → keep progressing)
✓ LOG/ALERT on errors and DLQ messages (visibility — don't lose track of failures)
✓ Manual offset commit → control exactly what's marked processed
✓ Monitor DLQ → failed messages need attention (a growing DLQ signals problems)
```

## किन यो महत्त्वपूर्ण छ

त्रुटिहरू र असफल सन्देशहरू कसरी सम्हाल्ने भनेर बुझ्नु मूल्यवान छ किनभने **उचित त्रुटि सम्हालन विश्वस्त Kafka उपभोक्ताहरूको लागि आवश्यक छ**, त्यसैले यो महत्त्वपूर्ण व्यावहारिक ज्ञान हो।

जब उपभोक्ता सन्देश प्रक्रिया गर्न असफल हुन्छ, अनाडी सम्हालनले समस्याहरू सृष्टि गर्छ: सधैँ पुनः प्रयास गर्नु सदैको लागि उपभोक्तालाई **"जहरीलो" सन्देशमा अलमस्त** (अगाडि बढ्न सक्षम नभएको) राख्छ, मौनतापूर्वक छोड्नु **डेटा हानि** गर्छ, र क्र्यास हुनु पुनः प्रक्रिया गर्न र फेरि अलमस्त हुन नेतृत्व गर्छ — त्यसैले जानबूझकरको त्रुटि-सम्हालन रणनीति आवश्यक छ।

**रणनीतिहरू** बुझ्नु — **सीमा सहितको पुनः प्रयास गर्नु** (क्षणिक असफलताहरूलाई backoff सहित पुनः प्रयास गर्नु तर स्थायी असफलताहरूमा सधैँको पुनः प्रयास टाल्न पुनः प्रयास सीमित गर्नु), **dead letter queue (DLQ)** प्याटर्न (पुनः प्रयासहरू असफल हुँदा, सन्देशलाई अलग DLQ विषयमा पठाउनु त्यसैले उपभोक्ता अगाडि बढ्छ अलमस्त नहुई, DLQ निरीक्षण गरी पछि पुनः प्रक्रिया गर्न सकिन्छ — अप्रक्रियायोग्य सन्देशहरू सम्हाल्ने मानक तरिका, रोधात्मक र हानि दुवै टाल्दै), क्षणिक (पुनः प्रयास गर्नु) बनाम स्थायी (DLQ) असफलताहरू भेद गर्नु, र idempotent प्रक्रिया गर्नु (सुरक्षित पुनः प्रयासहरूको लागि) — विश्वस्त उपभोक्ताहरू निर्माण गर्न मूल प्रायोगिक ज्ञान हो।

**DLQ प्याटर्न** विशेषतः जहरीलो-सन्देश समस्याको मानक समाधान हो, उपभोक्ताहरूलाई अगाडि बढ्न र असफल सन्देशहरूलाई पछि सम्हाल्नको लागि संरक्षण गर्न दिन्छ।

**व्यावहारिक विचारहरू** बुझ्नु — एक खराब सन्देशलाई विभाजनलाई अवरोध गर्न न दिनु (अगाडि बढ्न DLQ प्रयोग गर्दै), त्रुटिहरू र DLQ सन्देशहरूमा लग गर्नु र सचेत गर्नु (दृश्यमानता), नियन्त्रणको लागि ढिलो offset commits, र DLQ को निगरानी गर्नु (बढ्दै गएको DLQ समस्याहरू संकेत गर्न सकेकोले) — मजबूत त्रुटि सम्हालन प्रतिबिम्ब गर्छ।

उचित त्रुटि सम्हालन अलमस्त उपभोक्ता (रोधात्मक) र डेटा हानि (मौन छोड्नु) को वास्तविक समस्याहरूलाई रोक्छ जो अनाडी सम्हालन सृष्टि गर्छ।

उचित त्रुटि सम्हालन (सीमासहित पुनः प्रयास, dead letter queues, असफलता प्रकारहरू भेद गर्नु, idempotency) विश्वस्त Kafka उपभोक्ताहरूको लागि आवश्यक छ — अलमस्त उपभोक्ताहरू र डेटा हानि रोक्दै — र DLQ प्याटर्न मानक समाधान हो, र यी रणनीतिहरू बुझ्नु महत्त्वपूर्ण व्यावहारिक ज्ञान हो, Kafka मा त्रुटिहरू र असफल सन्देशहरू कसरी सम्हाल्ने भनेर बुझ्नु मूल्यवान, व्यावहारिक-प्रासङ्गिक ज्ञान हो — विश्वस्त उपभोक्ताहरूको लागि आवश्यक, अप्रक्रियायोग्य सन्देशहरू सम्हाल्नको लागि dead-letter-queue प्याटर्नमा केन्द्रित, रोधात्मक वा डेटा हानि बिना, र अपरिहार्य प्रक्रिया असफलताहरूलाई सुन्दरतापूर्वक सम्हाल्दै मजबूत Kafka उपभोक्ताहरू निर्माणको लागि महत्त्वपूर्ण।