Kafka-তে replication কীভাবে কাজ করে?

Question

Accepted Answer

Kafka **replicate** করে partitions-গুলি একাধিক brokers জুড়ে **durability এবং availability** এর জন্য — প্রতিটি partition-এর একটি leader এবং follower replicas থাকে। যদি একটি broker ব্যর্থ হয়, একটি follower দায়িত্ব নেয়। Replication বোঝা Kafka-র fault tolerance-এর জন্য মূল বিষয়।

## Replication কীভাবে কাজ করে

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## In-Sync Replicas (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Durability বনাম availability ট্রেড-অফস

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## এটি কেন গুরুত্বপূর্ণ

Kafka-তে replication কীভাবে কাজ করে তা বোঝা মূল্যবান কারণ এটি **Kafka-র durability এবং availability-এর মূল চাবিকাঠি** (fault tolerance), তাই Kafka নির্ভরযোগ্যভাবে বোঝা এবং পরিচালনা করার জন্য এটি গুরুত্বপূর্ণ।

Replication হল কীভাবে Kafka নিশ্চিত করে যে ডেটা হারিয়ে যায় না এবং broker failures সত্ত্বেও উপলব্ধ থাকে।

বোঝা **replication কীভাবে কাজ করে** — প্রতিটি partition replicate করা হয় brokers জুড়ে (replication factor অনুযায়ী) একটি **leader** সহ যা reads/writes পরিচালনা করে এবং **followers** যা এটি replicate করে, যাতে যদি leader-এর broker ব্যর্থ হয় তাহলে একটি follower প্রচার করা হয় (failover, continued availability প্রদান করে data loss ছাড়াই) — Kafka-র fault-tolerance mechanism ব্যাখ্যা করে।

বোঝা **in-sync replicas (ISR)** — replicas-এর সেট যা leader-এর সাথে তাল মিলিয়ে চলে, যেখানে শুধুমাত্র in-sync replicas leader হতে পারে (নিশ্চিত করে নতুন leader-এর ডেটা আছে), এবং durability configuration (acks=all সহ min.insync.replicas) যা নিশ্চিত করে writes স্বীকৃত হয় শুধুমাত্র যখন যথেষ্ট ISRs-এর ডেটা আছে (failures থেকে বেঁচে থাকে loss ছাড়াই) — durability এবং availability ভারসাম্য করার জন্য Kafka-র কেন্দ্রবিন্দু, একটি মূল operational concept।

বোঝা **durability বনাম availability ট্রেড-অফস** — replication factor (আরও অনেক copies = আরও fault tolerance), producer **acks** setting (acks=0 দ্রুত কিন্তু ডেটা হারাতে পারে, acks=1 leader-only, acks=all নিরাপদ কিন্তু ধীরগতির), এবং min.insync.replicas — reflects গুরুত্বপূর্ণ configuration সিদ্ধান্তগুলি যা durability কে throughput এবং availability-এর বিপরীতে ভারসাম্য রাখে।

এই ট্রেড-অফস ব্যবহারিক সিদ্ধান্ত যখন Kafka পরিচালনা করা হয়: শক্তিশালী durability (acks=all, আরও replicas, উচ্চতর min ISRs) বনাম performance।

Replication বোঝা Kafka নির্ভরযোগ্যভাবে পরিচালনা এবং সঠিক durability guarantees কনফিগার করার জন্য অপরিহার্য।

যেহেতু replication Kafka-র durability এবং availability-এর মূল চাবিকাঠি (leader/follower replication এবং failover-এর মাধ্যমে fault tolerance) এবং এটি বোঝা — mechanism, ISR, এবং durability/availability ট্রেড-অফস (replication factor, acks, min ISRs) — Kafka নির্ভরযোগ্যভাবে পরিচালনা এবং উপযুক্ত guarantees কনফিগার করার জন্য গুরুত্বপূর্ণ, Kafka-তে replication কীভাবে কাজ করে তা বোঝা মূল্যবান, ব্যবহারিক-প্রাসঙ্গিক জ্ঞান — Kafka-র fault tolerance এবং durability-এর জন্য কেন্দ্রীয়, Kafka কীভাবে failures থেকে বেঁচে থাকে তা বোঝার জন্য গুরুত্বপূর্ণ এবং durability guarantees (acks, replication factor, ISR) কনফিগার করার জন্য, এবং Kafka নির্ভরযোগ্যভাবে পরিচালনা করার জন্য মূল।