আপনি Kafka-তে ত্রুটি এবং ব্যর্থ বার্তাগুলি কীভাবে পরিচালনা করেন?

Question

Accepted Answer

**ত্রুটি এবং ব্যর্থ বার্তা** পরিচালনা করা নির্ভরযোগ্য Kafka ভোক্তাদের জন্য গুরুত্বপূর্ণ — যখন একটি বার্তা প্রক্রিয়াকরণ ব্যর্থ হয় তখন কী করবেন তা সিদ্ধান্ত নেওয়া (পুনরায় চেষ্টা করুন, এড়িয়ে যান, বা **dead letter queue**-তে রুট করুন)। যথাযথ ত্রুটি পরিচালনা ডেটা হারানো এবং আটকে যাওয়া ভোক্তাদের প্রতিরোধ করে।

## সমস্যা: প্রক্রিয়াকরণ ব্যর্থতা

```text
When a consumer fails to PROCESS a message (bad data, downstream failure, bug):
  → BLOCKING retry forever → the consumer gets STUCK on a "poison" message (can't progress)
  → skipping silently → data LOSS (the message is lost)
  → crashing → consumer restarts, reprocesses, may get stuck again
→ need a deliberate error-handling strategy.
```

## ত্রুটি-পরিচালনা কৌশল

```text
✓ RETRY (with limits) → retry transient failures (with backoff); but LIMIT retries (don't
  retry forever on a permanent failure)
✓ DEAD LETTER QUEUE (DLQ) → after retries fail, send the message to a separate DLQ TOPIC →
  the consumer moves on (not stuck); the DLQ is inspected/reprocessed later
  → the standard way to handle messages that can't be processed (avoids blocking + loss)
✓ Distinguish TRANSIENT (retry) vs PERMANENT (DLQ/skip) failures
✓ IDEMPOTENT processing → safe retries/reprocessing (at-least-once → duplicates)
```

## ব্যবহারিক বিবেচনা

```text
✓ Don't let one bad message BLOCK the partition (move it aside via DLQ → keep progressing)
✓ LOG/ALERT on errors and DLQ messages (visibility — don't lose track of failures)
✓ Manual offset commit → control exactly what's marked processed
✓ Monitor DLQ → failed messages need attention (a growing DLQ signals problems)
```

## এটি কেন গুরুত্বপূর্ণ

ত্রুটি এবং ব্যর্থ বার্তাগুলি কীভাবে পরিচালনা করতে হয় তা বোঝা মূল্যবান কারণ **যথাযথ ত্রুটি পরিচালনা নির্ভরযোগ্য Kafka ভোক্তাদের জন্য অপরিহার্য**, তাই এটি গুরুত্বপূর্ণ ব্যবহারিক জ্ঞান।

যখন একটি ভোক্তা একটি বার্তা প্রক্রিয়া করতে ব্যর্থ হয়, তখন ন্যাইভ পরিচালনা সমস্যা সৃষ্টি করে: চিরকালের জন্য পুনরায় চেষ্টা করা ভোক্তাকে একটি **"poison" বার্তায় আটকে দেয়** (এগিয়ে যেতে অক্ষম), নীরবে এড়িয়ে যাওয়া **ডেটা হারানো** ঘটায়, এবং ক্র্যাশ হওয়া পুনঃপ্রক্রিয়াকরণ এবং আবার আটকে যাওয়ার দিকে পরিচালিত করে — তাই একটি ইচ্ছাকৃত ত্রুটি-পরিচালনা কৌশল প্রয়োজন।

**কৌশলগুলি** বোঝা — **সীমাবদ্ধতা সহ পুনঃপ্রচেষ্টা** (ক্ষণস্থায়ী ব্যর্থতাগুলি backoff সহ পুনরায় চেষ্টা করা কিন্তু স্থায়ী ব্যর্থতাগুলিতে চিরকাল পুনরায় চেষ্টা করা এড়ানোর জন্য সীমিত করা), **dead letter queue (DLQ)** প্যাটার্ন (পুনঃপ্রচেষ্টা ব্যর্থ হওয়ার পরে, বার্তাটি একটি পৃথক DLQ বিষয়ে পাঠানো যাতে ভোক্তা এগিয়ে যায় আটকে না থেকে, DLQ পরীক্ষা এবং পরে পুনঃপ্রক্রিয়া করা — অপ্রক্রিয়াযোগ্য বার্তাগুলি পরিচালনার জন্য মান উপায়, ব্লক করা এবং হারানো উভয়ই এড়িয়ে চলা), ক্ষণস্থায়ী (পুনরায় চেষ্টা) বনাম স্থায়ী (DLQ) ব্যর্থতাগুলির মধ্যে পার্থক্য করা, এবং idempotent প্রক্রিয়াকরণ (নিরাপদ পুনঃপ্রচেষ্টার জন্য) — নির্ভরযোগ্য ভোক্তা তৈরির জন্য মূল ব্যবহারিক জ্ঞান।

**DLQ প্যাটার্ন** বিশেষত poison-message সমস্যার মান সমাধান, ভোক্তাদের এগিয়ে যেতে দেয় যখন ব্যর্থ বার্তাগুলি সংরক্ষণ করে পরে পরিচালনার জন্য।

**ব্যবহারিক বিবেচনা** বোঝা — একটি খারাপ বার্তাকে partition কে ব্লক করতে না দেওয়া (DLQ ব্যবহার করে এগিয়ে যেতে), ত্রুটি এবং DLQ বার্তাগুলিতে লগিং এবং সতর্কতা দেওয়া (দৃশ্যমানতার জন্য), নিয়ন্ত্রণের জন্য ম্যানুয়াল offset commits, এবং DLQ নিরীক্ষণ করা (যেহেতু একটি ক্রমবর্ধমান DLQ সমস্যা সংকেত দেয়) — শক্তিশালী ত্রুটি পরিচালনা প্রতিফলিত করে।

যথাযথ ত্রুটি পরিচালনা আটকে যাওয়া ভোক্তাদের (ব্লক করা) এবং ডেটা হারানোর (নীরব এড়িয়ে যাওয়া) বাস্তব সমস্যাগুলি প্রতিরোধ করে যা ন্যাইভ পরিচালনা ঘটায়।

যেহেতু যথাযথ ত্রুটি পরিচালনা (সীমাবদ্ধতা সহ পুনঃপ্রচেষ্টা, dead letter queues, ব্যর্থতার প্রকার পার্থক্য করা, idempotency) নির্ভরযোগ্য Kafka ভোক্তাদের জন্য অপরিহার্য — আটকে যাওয়া ভোক্তা এবং ডেটা হারানো প্রতিরোধ করা — এবং DLQ প্যাটার্ন মান সমাধান, এবং যেহেতু এই কৌশলগুলি বোঝা গুরুত্বপূর্ণ ব্যবহারিক জ্ঞান, Kafka-তে ত্রুটি এবং ব্যর্থ বার্তা পরিচালনা করতে বোঝা মূল্যবান, ব্যবহারিকভাবে প্রাসঙ্গিক জ্ঞান — নির্ভরযোগ্য ভোক্তাদের জন্য অপরিহার্য, অপ্রক্রিয়াযোগ্য বার্তাগুলি পরিচালনার জন্য dead-letter-queue প্যাটার্নের উপর কেন্দ্রীভূত, ব্লক করা বা ডেটা হারানো ছাড়াই, এবং শক্তিশালী Kafka ভোক্তা তৈরির জন্য গুরুত্বপূর্ণ যা অনিবার্য প্রক্রিয়াকরণ ব্যর্থতাগুলি সুন্দরভাবে পরিচালনা করে।