Kafka ਵਿੱਚ replication ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ?

Question

Accepted Answer

Kafka **replicate** ਕਰਦਾ ਹੈ partitions ਨੂੰ ਬਹੁ-ਸੰਖਿਆ brokers ਤੋਂ ਪਾਰ **durability ਅਤੇ availability** ਲਈ — ਹਰੇਕ partition ਕੋਲ ਇੱਕ leader ਅਤੇ follower replicas ਹਨ। ਜੇ ਕੋਈ broker fail ਹੋ ਜਾਏ, ਤਾਂ ਇੱਕ follower ਇਸ ਦੀ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ। Kafka ਦੀ fault tolerance ਨੂੰ ਸਮਝਣ ਲਈ replication ਨੂੰ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ।

## Replication ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ

```text
Each PARTITION is replicated across multiple brokers (REPLICATION FACTOR copies, e.g. 3):
  → LEADER replica → handles all reads and writes for the partition
  → FOLLOWER replicas → copy (replicate) the leader's data, staying in sync
  → producers/consumers interact with the LEADER; followers are backups
→ if the leader's broker FAILS → a follower is promoted to leader (failover) → no data loss,
  continued availability
```

## In-Sync Replicas (ISR)

```text
ISR (In-Sync Replicas) → the set of replicas CAUGHT UP with the leader:
  → only in-sync replicas are eligible to become leader (ensures the new leader has the data)
  → durability config: acks=all + min.insync.replicas → a write is acknowledged only when
    enough ISRs have it → survives failures without data loss
→ ISR is central to balancing durability and availability
```

## Durability ਬਨਾਮ availability trade-offs

```text
→ REPLICATION FACTOR (e.g. 3) → more copies = more fault tolerance (survive more failures)
→ acks setting (producer):
  acks=0 → no wait (fast, may lose data)  acks=1 → leader only (may lose on leader failure)
  acks=all → all ISRs confirm (safe, no loss, but slower)
→ min.insync.replicas → minimum ISRs required for a write (durability guarantee)
→ trade-off: stronger durability (acks=all, more replicas) vs throughput/availability
```

## ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

Kafka ਵਿੱਚ replication ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਇਹ ਸਮਝਣਾ ਮੁੱਲਵਾਨ ਹੈ ਕਿਉਂਕਿ ਇਹ Kafka ਦੀ **durability ਅਤੇ availability ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ** (fault tolerance), ਇਸ ਲਈ Kafka ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਸਮਝਣ ਅਤੇ ਚਲਾਉਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ।

Replication ਉਹ ਤਰੀਕਾ ਹੈ ਜਿਸ ਨਾਲ Kafka ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦਾ ਹੈ ਕਿ data ਖੋਈ ਨਹੀਂ ਜਾਂਦਾ ਅਤੇ broker failures ਦੇ ਬਾਵਜੂਦ ਉਪਲਬਧ ਰਹਿੰਦਾ ਹੈ।

**Replication ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ** ਨੂੰ ਸਮਝਣਾ — ਹਰੇਕ partition replicate ਹੁੰਦਾ ਹੈ brokers ਅੱਗੇ (replication factor ਦੇ ਅਨੁਸਾਰ) ਇੱਕ **leader** ਦੇ ਨਾਲ ਜੋ reads/writes ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ ਅਤੇ **followers** ਜੋ ਇਸ ਨੂੰ replicate ਕਰਦੇ ਹਨ, ਤਾਂ ਜੋ ਜੇ leader ਦਾ broker fail ਹੋ ਤਾਂ ਇੱਕ follower ਨੂੰ promote ਕੀਤਾ ਜਾਏ (failover, ਡੈਟਾ loss ਤੋਂ ਬਿਨਾਂ ਨਿਰੰਤਰ availability ਪ੍ਰਦਾਨ ਕਰਦੇ ਹੋਏ) — Kafka ਦੇ fault-tolerance ਵਿਧੀ ਨੂੰ ਸਮਝਾਉਂਦਾ ਹੈ।

**In-sync replicas (ISR)** ਨੂੰ ਸਮਝਣਾ — replicas ਦੇ ਸਮੂਹ ਜੋ leader ਨਾਲ catch up ਹਨ, ਜਿੱਥੇ ਸਿਰਫ in-sync replicas ਹੀ leader ਬਣ ਸਕਦੇ ਹਨ (ਇਹ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹੋਏ ਕਿ ਨਵਾ leader ਕੋਲ data ਹੈ), ਅਤੇ durability configuration (acks=all ਪਲਸ min.insync.replicas) ਇਹ ਯਕੀਨੀ ਬਨਾਉਂਦੀ ਹੈ ਕਿ writes acknowledge ਹੁੰਦੀ ਹਨ ਸਿਰਫ ਜਦੋਂ ਲੋੜੀਂਦੀ ਸੰਖਿਆ ਵਿਚ ISRs ਕੋਲ data ਹੋਵੇ (failures ਵਿੱਚ ਤੋਂ ਸਥਿਰ ਰਹਿ ਕੇ loss ਤੋਂ ਬਿਨਾਂ) — Kafka ਦੀ durability ਅਤੇ availability ਨੂੰ ਸੰਤੁਲਿਤ ਕਰਨ ਦੇ ਲਈ ਇੱਕ ਮੁੱਖ operational concept ਹੈ।

**Durability ਬਨਾਮ availability trade-offs** ਨੂੰ ਸਮਝਣਾ — replication factor (ਵਧੇਰੇ copies = ਵਧੇਰੇ fault tolerance), producer **acks** setting (acks=0 ਤੇਜ਼ ਪਰ data loss ਕਰ ਸਕਦਾ ਹੈ, acks=1 leader-only, acks=all ਸੁਰੱਖਿਤ ਪਰ ਹੌਲੀ), ਅਤੇ min.insync.replicas — durability ਨੂੰ throughput ਅਤੇ availability ਦੇ ਵਿਰੁੱਧ ਸੰਤੁਲਿਤ ਕਰਨ ਵਾਲੇ ਮਹੱਤਵਪੂਰਨ configuration decisions ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

ਇਹ trade-offs Kafka ਨੂੰ operate ਕਰਦੇ ਸਮੇਂ ਵਾਸਤਵਿਕ decisions ਹਨ: stronger durability (acks=all, ਵਧੇਰੇ replicas, ਉੱਚੇ min ISRs) ਬਨਾਮ performance।

Replication ਨੂੰ ਸਮਝਣਾ Kafka ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਚਲਾਉਣ ਅਤੇ ਸਹੀ durability guarantees ਦੀ configuration ਲਈ ਜ਼ਰੂਰੀ ਹੈ।

ਕਿਉਂਕਿ replication Kafka ਦੀ durability ਅਤੇ availability ਲਈ ਮਾਮਲਾ ਹੈ (leader/follower replication ਅਤੇ failover ਰਾਹੀਂ fault tolerance) ਅਤੇ ਇਸ ਨੂੰ ਸਮਝਣਾ — ਮਕਾਨਿਜ਼ਮ, ISR, ਅਤੇ durability/availability trade-offs (replication factor, acks, min ISRs) — Kafka ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ operate ਕਰਨ ਅਤੇ ਢੁਕਵੀਂ guarantees ਦੀ configuration ਲਈ ਮਹੱਤਵਪੂਰਨ ਹੈ, Kafka ਵਿੱਚ replication ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ ਇਹ ਜਾਣਨਾ ਮੁੱਲਵਾਨ, ਵਾਸਤਵਿਕ ਤੌਰ ਤੇ ਪ੍ਰਸੰਗਿਤ ਜਾਣਕਾਰੀ ਹੈ — Kafka ਦੀ fault tolerance ਲਈ ਕੇਂਦਰੀ, Kafka ਕਿਵੇਂ failures ਨੂੰ ਸਹਿਰ ਲੈਂਦਾ ਹੈ ਇਹ ਸਮਝਣ ਲਈ ਮਹੱਤਵਪੂਰਨ ਅਤੇ durability guarantees ਦੀ configuration ਲਈ (acks, replication factor, ISR), ਅਤੇ Kafka ਨੂੰ ਕੁਸ਼ਲਤਾ ਨਾਲ ਚਲਾਉਣ ਲਈ ਚਾਬੀ।