Kafka मा replication कसरी काम गर्छ?

Question

Accepted Answer

Kafka **replicate** गर्छ partitions लाई multiple brokers मा **durability र availability** को लागि — प्रत्येक partition को एक leader र follower replicas हुन्छन्। यदि कुनै broker fail भयो भने, एक follower तत्काल नियन्त्रण लिन्छ। Replication लाई बुझ्नु Kafka को fault tolerance को कुञ्जी हो।

## Replication कसरी काम गर्छ

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## In-Sync Replicas (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Durability बनाम availability trade-offs

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## यो किन महत्त्वपूर्ण छ

Kafka मा replication कसरी काम गर्छ भनी बुझ्नु मूल्यवान छ किनभने यो **Kafka को durability र availability को कुञ्जी** हो (fault tolerance), त्यसैले Kafka लाई विश्वसनीयताको साथ बुझ्न र संचालन गर्नको लागि महत्त्वपूर्ण छ।

Replication यो हो कि Kafka कसरी सुनिश्चित गर्छ कि डेटा खोइदैन र broker failures को बावजुद उपलब्ध रहन्छ।

बुझ्नु **replication कसरी काम गर्छ** — प्रत्येक partition replicate हुन्छ brokers मा (replication factor अनुसार) एक **leader** को साथ जसले reads/writes सम्भाल्छ र **followers** ले यसलाई replicate गर्छन्, जसले गर्दा यदि leader को broker fail भयो भने एक follower लाई promote गरिन्छ (failover, data loss बिना जारी उपलब्धता प्रदान गर्दै) — Kafka को fault-tolerance mechanism लाई व्याख्या गर्छ।

बुझ्नु **in-sync replicas (ISR)** — replicas को सेट जो leader को साथ अद्यावधिक छन्, जहाँ केवल in-sync replicas leader बन्न सक्छन् (नए leader को पास डेटा छ भनी सुनिश्चित गर्दै), र durability configuration (acks=all साथ min.insync.replicas) writes लाई acknowledge गर्दै केवल तब जब पर्याप्त ISRs को पास डेटा छ (failures को बिना loss बचाव गर्दै) — Kafka को durability र availability कलाई कसरी सन्तुलन गर्न सकिन्छ भन्नमा केन्द्रीय छ, एक महत्त्वपूर्ण अपरेशनल अवधारणा।

बुझ्नु **durability बनाम availability trade-offs** — replication factor (अधिक प्रतिलिपि = अधिक fault tolerance), producer **acks** setting (acks=0 द्रुत तर डेटा खो सक्छ, acks=1 leader-only, acks=all सुरक्षित तर ढिलो), र min.insync.replicas — durability बनाम throughput र availability को बीच सन्तुलन गर्ने महत्त्वपूर्ण configuration निर्णयहरू प्रतिबिम्बित गर्छ।

यी trade-offs Kafka संचालन गर्दा व्यावहारिक निर्णयहरू हुन्: बलियो durability (acks=all, अधिक replicas, उच्च min ISRs) बनाम performance।

Replication लाई बुझ्नु Kafka लाई विश्वसनीयताको साथ संचालन गर्न र सही durability guarantees कन्फिगर गर्न आवश्यक छ।

किनभने replication Kafka को durability र availability को कुञ्जी हो (leader/follower replication र failover मार्फत fault tolerance) र यसलाई बुझ्नु — mechanism, ISR, र durability/availability trade-offs (replication factor, acks, min ISRs) — Kafka लाई विश्वसनीयताको साथ संचालन गर्न र उपयुक्त guarantees कन्फिगर गर्न महत्त्वपूर्ण छ, Kafka मा replication कसरी काम गर्छ भनी बुझ्नु मूल्यवान, व्यावहारिकरूपे प्रासङ्गिक ज्ञान हो — Kafka को fault tolerance र durability को लागि केन्द्रीय, Kafka कसरी failures बाट बचन्छ भन्न बुझ्नको लागि महत्त्वपूर्ण र durability guarantees कन्फिगर गर्नको लागि (acks, replication factor, ISR), र Kafka लाई विश्वसनीयताको साथ संचालन गर्नको कुञ्जी।