Kafka में replication कैसे काम करता है?

Question

Accepted Answer

Kafka **durability और availability** के लिए partitions को कई brokers में **replicate** करता है — प्रत्येक partition में एक leader और follower replicas होते हैं। यदि कोई broker विफल हो जाए, तो एक follower कार्यभार संभाल लेता है। replication को समझना Kafka की fault tolerance की कुंजी है।

## Replication कैसे काम करता है

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## In-Sync Replicas (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Durability बनाम availability trade-offs

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## यह क्यों महत्वपूर्ण है

Kafka में replication कैसे काम करता है यह समझना मूल्यवान है क्योंकि यह **Kafka की durability और availability (fault tolerance) की कुंजी** है, इसलिए यह Kafka को विश्वसनीय रूप से समझने और operate करने के लिए महत्वपूर्ण है।

Replication वह तरीका है जिससे Kafka सुनिश्चित करता है कि data खोया न जाए और broker failures के बावजूद उपलब्ध रहे।

**Replication कैसे काम करता है** यह समझना — प्रत्येक partition brokers में replicated (replication factor के अनुसार) एक **leader** के साथ जो reads/writes संभालता है और **followers** जो इसे replicate करते हैं, ताकि यदि leader का broker विफल हो जाए तो एक follower promote हो जाए (failover, बिना data loss के निरंतर availability प्रदान करते हुए) — Kafka के fault-tolerance तंत्र को समझाता है।

**In-sync replicas (ISR)** को समझना — leader के साथ caught up replicas का सेट, जहाँ केवल in-sync replicas leader बन सकते हैं (यह सुनिश्चित करते हुए कि नए leader के पास data है), और durability configuration (acks=all plus min.insync.replicas) यह सुनिश्चित करते हुए कि writes केवल तभी acknowledged हों जब पर्याप्त ISRs के पास data हो (failures को बिना loss के सहन करना) — इसके लिए केंद्रीय है कि Kafka कैसे durability और availability को संतुलित करता है, एक मुख्य operational अवधारणा।

**Durability बनाम availability trade-offs** को समझना — replication factor (अधिक copies = अधिक fault tolerance), producer **acks** setting (acks=0 तेज़ लेकिन data खो सकता है, acks=1 leader-only, acks=all सुरक्षित लेकिन धीमा), और min.insync.replicas — यह महत्वपूर्ण configuration निर्णयों को दर्शाता है जो durability को throughput और availability के विरुद्ध संतुलित करते हैं।

ये trade-offs Kafka को operate करते समय व्यावहारिक निर्णय हैं: मज़बूत durability (acks=all, अधिक replicas, उच्च min ISRs) बनाम performance।

Replication को समझना Kafka को विश्वसनीय रूप से operate करने और सही durability guarantees configure करने के लिए आवश्यक है।

चूँकि replication Kafka की durability और availability की कुंजी है (leader/follower replication और failover के माध्यम से fault tolerance) और इसे समझना — तंत्र, ISR, और durability/availability trade-offs (replication factor, acks, min ISRs) — Kafka को विश्वसनीय रूप से operate करने और उचित guarantees configure करने के लिए महत्वपूर्ण है, इसलिए Kafka में replication कैसे काम करता है यह समझना मूल्यवान, व्यावहारिक रूप से प्रासंगिक ज्ञान है — Kafka की fault tolerance और durability के लिए केंद्रीय, यह समझने के लिए महत्वपूर्ण कि Kafka failures को कैसे सहन करता है और durability guarantees configure करने के लिए (acks, replication factor, ISR), और Kafka को विश्वसनीय रूप से operate करने की कुंजी।