Kafka ਦਾ ਕੁੱਲ ਆਰਕੀਟੈਕਚਰ ਕੀ ਹੈ?

Question

Accepted Answer

Kafka ਦਾ ਆਰਕੀਟੈਕਚਰ **brokers ਦੇ ਕਲੱਸਟਰ** (ਸਰਵਰ) ਨਾਲ ਬਣਿਆ ਹੈ ਜੋ partitioned, replicated topics ਨੂੰ store ਕਰਦੇ ਹਨ, **producers** ਲਿਖਦੇ ਹਨ ਅਤੇ **consumers** ਪੜ੍ਹਦੇ ਹਨ, metadata management ਦੁਆਰਾ coordinate ਕੀਤਾ ਜਾਂਦਾ ਹੈ (ਪਹਿਲਾਂ ZooKeeper, ਹੁਣ KRaft)। ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਸਮਝਣਾ ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ ਕਿ Kafka ਇੱਕ distributed system ਦੇ ਰੂਪ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ।

## Components

```text
BROKERS → Kafka SERVERS forming a CLUSTER:
  → store topic partitions (the data); serve producers and consumers
  → a cluster of multiple brokers → distributes data and load; scales horizontally
TOPICS / PARTITIONS → topics split into partitions, distributed across brokers
PRODUCERS → write events to topics (to partition leaders)
CONSUMERS (in groups) → read events from partitions
COORDINATION → metadata, cluster state, leader election:
  → historically ZOOKEEPER; now KRAFT (Kafka's own built-in consensus, removing ZooKeeper)
```

## Durability ਅਤੇ availability ਲਈ Replication

```text
Partitions are REPLICATED across brokers for fault tolerance:
  → each partition has a LEADER (handles reads/writes) + FOLLOWERS (replicas):
    - producers/consumers interact with the leader
    - followers replicate the leader's data → if the leader fails, a follower takes over
  → REPLICATION FACTOR → how many copies (e.g. 3) → survive broker failures without data loss
  → IN-SYNC REPLICAS (ISR) → replicas caught up with the leader (for durability guarantees)
```

## ਇਹ ਸਾਥ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ

```text
Producer → writes to a partition's LEADER on a broker → replicated to followers →
  Consumer (in a group) reads from partitions → cluster coordinated by KRaft/ZooKeeper
→ a distributed, replicated, scalable system: brokers store/serve, replication gives
  durability/HA, coordination manages the cluster
```

## ਇਸ ਦਾ ਮਹੱਤਵ

Kafka ਦੇ ਕੁੱਲ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ ਕਿਉਂਕਿ ਇਹ **ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ ਕਿ Kafka ਇੱਕ distributed system ਦੇ ਰੂਪ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ**, ਇਸ ਲਈ ਇਹ Kafka ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ foundational knowledge ਹੈ।

Kafka ਇੱਕ distributed system ਹੈ, ਅਤੇ ਇਸ ਦੇ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਸਮਝਣਾ ਦੱਸਦਾ ਹੈ ਕਿ ਇਹ ਆਪਣੀ scalability, durability, ਅਤੇ availability ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ।

**Components ਨੂੰ ਸਮਝਣਾ** — **brokers** (Kafka ਸਰਵਰ ਜੋ ਕਲੱਸਟਰ ਬਣਾਉਂਦੇ ਹਨ ਜੋ partitions store ਕਰਦੇ ਹਨ ਅਤੇ clients ਨੂੰ serve ਕਰਦੇ ਹਨ, data ਅਤੇ load distribute ਕਰਦੇ ਹਨ), topics/partitions brokers ਵਿੱਚ distributed, producers ਲਿਖਦੇ ਹਨ ਅਤੇ consumers ਪੜ੍ਹਦੇ ਹਨ, ਅਤੇ **coordination** (metadata ਅਤੇ cluster management, ਪਹਿਲਾਂ ZooKeeper ਰਾਹੀਂ, ਹੁਣ ਵੱਧ ਰਹੇ ਹਨ **KRaft** ਦੇ ਮਾਧਿਅਮ ਨਾਲ — Kafka ਦਾ ਆਪਣਾ built-in consensus ਜੋ ZooKeeper ਦੀ ਨਿਰਭਰਤਾ ਨੂੰ ਹਟਾਉਂਦਾ ਹੈ) — system ਦੇ pieces ਨੂੰ ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ।

**Durability ਅਤੇ availability ਲਈ replication ਨੂੰ ਸਮਝਣਾ** ਖਾਸ ਤੌਰ 'ਤੇ ਮਹੱਤਵਪੂਰਨ ਹੈ: partitions ਨੂੰ **brokers ਵਿੱਚ replicate ਕੀਤਾ ਜਾਂਦਾ ਹੈ** (ਹਰ ਇੱਕ ਵਿੱਚ **leader** reads/writes ਨੂੰ handle ਕਰਦਾ ਹੈ ਅਤੇ **followers** ਇਸਨੂੰ replicate ਕਰਦੇ ਹਨ), ਇਸ ਲਈ ਜੇਕਰ leader fail ਹੋ ਜਾਵੇ ਤਾਂ follower ਲੈ ਲੈਂਦਾ ਹੈ (availability), **replication factor** ਦੇ ਨਾਲ ਇਹ ਨਿਰਧਾਰਿਤ ਕਰਦਾ ਹੈ ਕਿ ਕਿੰਨੀਆਂ copies failures ਨੂੰ survive ਕਰ ਸਕਦੀਆਂ ਹਨ data loss ਤੋਂ ਬਿਨਾ (durability), ਅਤੇ **in-sync replicas** durability guarantees ਨੂੰ ਯਕੀਨੀ ਬਣਾਉਂਦੇ ਹਨ।

ਇਹ replication mechanism ਉਹ ਤਰੀਕਾ ਹੈ ਜਿਸ ਨਾਲ Kafka fault tolerance ਅਤੇ durability ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ — ਇਸ ਦੀ reliability ਲਈ ਮੁੱਖ।

**ਇਹ ਸਾਥ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ** ਨੂੰ ਸਮਝਣਾ (producers partition leaders ਵਿੱਚ ਲਿਖਦੇ ਹਨ, followers ਵਿੱਚ replicate ਹੁੰਦਾ ਹੈ, consumers ਪੜ੍ਹਦੇ ਹਨ, ਸਭ ਕੁਝ coordinate ਹੁੰਦਾ ਹੈ) Kafka ਦੀ ਸੰਪੂਰਨ ਤਸਵੀਰ ਦਿੰਦਾ ਹੈ ਇੱਕ distributed, replicated, scalable system ਦੇ ਰੂਪ ਵਿੱਚ।

ਇਹ architectural understanding Kafka ਦੇ key properties ਨੂੰ deliver ਕਰਨ ਦੇ ਤਰੀਕੇ ਨੂੰ ਸਪਸ਼ਟ ਕਰਦੀ ਹੈ (distributed partitioned brokers ਰਾਹੀਂ scalability, replication ਰਾਹੀਂ durability ਅਤੇ availability)।

ਕਿਉਂਕਿ Kafka ਇੱਕ distributed system ਹੈ ਅਤੇ ਇਸ ਦੇ ਆਰਕੀਟੈਕਚਰ (brokers, replication ਜਿਸ ਵਿੱਚ leaders/followers ਹਨ, coordination) ਨੂੰ ਸਮਝਣਾ ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ ਕਿ ਇਹ scalability, durability, ਅਤੇ availability ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰਦਾ ਹੈ, ਅਤੇ ਕਿਉਂਕਿ ਇਹ Kafka ਨਾਲ ਕੰਮ ਕਰਨ ਲਈ foundational ਹੈ, Kafka ਦੇ ਕੁੱਲ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਸਮਝਣਾ ਮੁੱਲਵਾਨ, foundational knowledge ਹੈ — ਸਪਸ਼ਟ ਕਰਦਾ ਹੈ ਕਿ Kafka ਇੱਕ distributed, replicated system ਦੇ ਰੂਪ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ (brokers, fault tolerance ਲਈ replication, coordination), ਆਪਣੇ key properties ਦੀ ਵਿਆਖਿਆ ਕਰਦਾ ਹੈ, ਅਤੇ Kafka ਨੂੰ ਸਮਝਣ ਅਤੇ operate ਕਰਨ ਲਈ foundational ਹੈ।