Kafka मध्ये replication कसे काम करते?

Question

Accepted Answer

Kafka **replicate** करते partitions अनेक brokers मध्ये **durability आणि availability** साठी — प्रत्येक partition ला एक leader आणि follower replicas असतात. जर एक broker fail होतो, तर एक follower त्याची जागा घेतो. Kafka च्या fault tolerance समजून घेण्यासाठी replication समजणे महत्वाचे आहे.

## Replication कसे काम करते

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## In-Sync Replicas (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Durability vs availability trade-offs

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## हे का महत्वाचे आहे

Kafka मध्ये replication कसे काम करते हे समजून घेणे मूल्यवान आहे कारण हे **Kafka च्या durability आणि availability साठी की** आहे (fault tolerance), म्हणून Kafka विश्वसनीयरित्या समजून घेणे आणि चालवणे महत्वाचे आहे.

Replication हे असे आहे की Kafka data कसे हरवू शकत नाही आणि broker failures असूनही उपलब्ध राहते.

समजून घेणे **replication कसे काम करते** — प्रत्येक partition replicated आहे brokers मध्ये (replication factor प्रमाणे) एक **leader** सह जो reads/writes हाताळतो आणि **followers** जो त्याचे replicate करतात, तर जर leader चा broker fail होतो एक follower promote होतो (failover, data loss शिवाय continued availability प्रदान करतो) — हे Kafka च्या fault-tolerance mechanism समजावते.

समजून घेणे **in-sync replicas (ISR)** — replicas चा set जो leader सह catch up आहे, जेथे केवळ in-sync replicas leader बनू शकतात (ensuring की नवीन leader कडे data आहे), आणि durability configuration (acks=all तसेच min.insync.replicas) writes acknowledge करते केवळ जेव्हा पुरेसे ISRs कडे data आहे (failures survive करून loss शिवाय) — हे Kafka च्या durability आणि availability मध्ये balance करण्याच्या मध्यभागी आहे, एक महत्वाचे operational concept.

समजून घेणे **durability vs availability trade-offs** — replication factor (अधिक copies = अधिक fault tolerance), producer **acks** setting (acks=0 fast परंतु data हरवू शकते, acks=1 leader-only, acks=all safe परंतु हळू), आणि min.insync.replicas — हे महत्वाचे configuration decisions reflect करते जे durability आणि throughput व availability मध्ये balance करतात.

हे trade-offs Kafka चालवताना practical decisions आहेत: stronger durability (acks=all, अधिक replicas, उच्च min ISRs) विरुद्ध performance.

Replication समजून घेणे Kafka विश्वसनीयरित्या चालवण्यासाठी आणि योग्य durability guarantees configure करण्यासाठी आवश्यक आहे.

कारण replication Kafka च्या durability आणि availability साठी की आहे (leader/follower replication आणि failover द्वारे fault tolerance) आणि हे समजून घेणे — mechanism, ISR, आणि durability/availability trade-offs (replication factor, acks, min ISRs) — Kafka विश्वसनीयरित्या चालवण्यासाठी आणि योग्य guarantees configure करण्यासाठी महत्वाचे आहे, Kafka मध्ये replication कसे काम करते हे समजून घेणे मूल्यवान, practically-relevant knowledge आहे — Kafka च्या fault tolerance आणि durability साठी central आहे, Kafka failures कसे survive करते आणि durability guarantees (acks, replication factor, ISR) configure करण्यासाठी महत्वाचे आहे, आणि Kafka विश्वसनीयरित्या चालवण्यासाठी की आहे.