Kafka-এ exactly-once processing কীভাবে কাজ করে?

Question

Accepted Answer

**Exactly-once semantics (EOS)** নিশ্চিত করে যে প্রতিটি বার্তা ঠিক একবার প্রসেস করা হয় — কোনো ক্ষতি নেই, কোনো ডুপ্লিকেট নেই — এমনকি ব্যর্থতা এবং পুনঃপ্রচেষ্টার সাথেও। Kafka এটি অর্জন করে **idempotent producers** এবং **transactions** এর মাধ্যমে, যদিও এটি জটিল এবং overhead আছে।

## চ্যালেঞ্জ

```text
Exactly-once is HARD in distributed systems (failures, retries, duplicates are inevitable):
  → producer retries → duplicate messages; consumer reprocessing → duplicate effects
  → naive at-least-once → duplicates; at-most-once → loss
→ exactly-once requires careful mechanisms to avoid BOTH loss AND duplicates.
```

## Kafka exactly-once কীভাবে অর্জন করে

```text
1. IDEMPOTENT PRODUCER (enable.idempotence=true):
  → the producer dedupes retries (sequence numbers per partition) → producing the same
    message twice (due to a retry) results in ONE write (no duplicates from retries)
2. TRANSACTIONS:
  → group writes (and consumer offset commits) into an ATOMIC transaction → all succeed
    or all roll back
  → enables "consume-process-produce" atomically: read, process, write results + commit
    offsets together → exactly-once across the pipeline (within Kafka)
→ Kafka Streams uses these for end-to-end exactly-once processing
```

## স্কোপ এবং ট্রেড-অফ

```text
⚠️ Exactly-once is WITHIN KAFKA (consume-process-produce to Kafka):
  → EXTERNAL side effects (e.g. writing to an external DB, calling an API) aren't covered →
    still need idempotency for those
⚠️ Has OVERHEAD (transactions, coordination) → performance cost
→ often AT-LEAST-ONCE + idempotent processing is simpler and sufficient → use exactly-once
  when truly needed (duplicates unacceptable and idempotency hard)
```

## এটি কেন গুরুত্বপূর্ণ

Kafka-এ exactly-once processing কীভাবে কাজ করে তা বোঝা সিনিয়র-স্তরের মূল্যবান জ্ঞান কারণ **exactly-once একটি গুরুত্বপূর্ণ কিন্তু সাধারণত ভুল বোঝা যায় এমন গ্যারান্টি**, তাই এটি কীভাবে কাজ করে এবং এর সীমাবদ্ধতা বোঝা গভীর Kafka জ্ঞান প্রতিফলিত করে।

Exactly-once semantics (ব্যর্থতা সত্ত্বেও কোনো ক্ষতি নেই, কোনো ডুপ্লিকেট নেই) কাঙ্ক্ষিত কিন্তু বিতরণ করা সিস্টেমে সত্যিই কঠিন যেখানে পুনঃপ্রচেষ্টা এবং ডুপ্লিকেট অনিবার্য, এবং Kafka এটি কীভাবে অর্জন করে (এবং এর সীমাবদ্ধতা) তা বোঝা পরিশীলিত জ্ঞান।

**চ্যালেঞ্জ** বোঝা — যে exactly-once অনিবার্য ব্যর্থতা এবং পুনঃপ্রচেষ্টা সত্ত্বেও ক্ষতি এবং ডুপ্লিকেট উভয়ই এড়ানো প্রয়োজন — এটি কেন কঠিন তা ফ্রেম করে।

**এটি কীভাবে অর্জন করে** তা বোঝা — **idempotent producers** (ক্রম সংখ্যার মাধ্যমে পুনঃপ্রচেষ্টা ডুপ্লিকেট ডিডাপ করা যাতে পুনঃপ্রচেষ্টার কারণে ডুপ্লিকেট একটি লেখায় পরিণত হয়) এবং **transactions** (লেখা এবং অফসেট commits atomically গ্রুপ করা,