Apache Kafka ਕੀ ਹੈ ਅਤੇ ਇਸ ਦਾ ਕੀ ਕੰਮ ਹੈ?

Question

Accepted Answer

**Apache Kafka** ਇੱਕ distributed **event streaming platform** ਹੈ — ਇੱਕ high-throughput, durable system ਜੋ events (records) ਦੇ streams ਨੂੰ publish, store, ਅਤੇ process ਕਰਦਾ ਹੈ। ਇਹ messaging, real-time data pipelines, event-driven architectures, ਅਤੇ stream processing ਨੂੰ scale 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

## Kafka ਕੀ ਹੈ

```text
Kafka = a distributed, durable, high-throughput EVENT STREAMING platform:
  → PUBLISH events (producers write) and SUBSCRIBE to them (consumers read)
  → STORE streams of events durably (a distributed, replicated commit LOG)
  → PROCESS streams in real time
→ think of it as a durable, scalable, append-only LOG of events that many systems can
  write to and read from
```

## Kafka ਦਾ ਕੀ ਕੰਮ ਹੈ

```text
✓ MESSAGING / event streaming → decoupled communication between systems (pub/sub at scale)
✓ DATA PIPELINES → move/stream data between systems reliably (ingestion, ETL)
✓ EVENT-DRIVEN architecture → services react to events; event sourcing
✓ REAL-TIME processing → analytics, monitoring, stream processing (Kafka Streams)
✓ LOG aggregation, metrics, activity tracking, change data capture (CDC)
→ used by huge companies for high-volume, real-time data
```

## ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ

```text
✓ HIGH THROUGHPUT → handles millions of events/sec (very scalable)
✓ DURABLE → events persisted to disk, replicated (not lost)
✓ DISTRIBUTED → scales horizontally across a cluster of brokers
✓ Events RETAINED → consumers read at their own pace; events kept (replay possible)
✓ DECOUPLED → producers and consumers are independent
```

## ਇਹ ਮਹੱਤਵਪੂਰਨ ਕਿਉਂ ਹੈ

ਸਮਝਣਾ ਕਿ Kafka ਕੀ ਹੈ ਅਤੇ ਇਸ ਦਾ ਕੀ ਕੰਮ ਹੈ, ਮੁੱਲਵਾਨ, ਨਿੰਮ ਗਿਆਨ ਹੈ ਕਿਉਂਕਿ Kafka ਆਧੁਨਿਕ architectures ਵਿੱਚ event streaming ਅਤੇ high-volume data ਲਈ **dominant platform** ਹੈ, ਸਾਰੀ industry ਵਿੱਚ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ।

Kafka ਇੱਕ distributed event streaming platform ਹੈ — ਮੂਲ ਰੂਪ ਵਿੱਚ ਇੱਕ **durable, scalable, append-only log of events** ਜਿਸ ਵਿੱਚ producers write ਕਰਦੇ ਹਨ ਅਤੇ consumers read ਕਰਦੇ ਹਨ, messaging, durable storage, ਅਤੇ stream processing ਨੂੰ ਮਿਲਾਉਂਦਾ ਹੈ।

ਇਸ ਮੂਲ ਸੁਭਾਅ ਨੂੰ ਸਮਝਣਾ (publish/subscribe to event streams, durably stored in a distributed replicated log, processed in real time) ਨਿੰਮ ਹੈ।

ਸਮਝਣਾ **Kafka ਦਾ ਕੀ ਕੰਮ ਹੈ** — messaging ਅਤੇ event streaming (decoupled pub/sub at scale), data pipelines (systems ਦੇ ਵਿਚਕਾਰ data ਨੂੰ ਭਰੋਸੇ ਨਾਲ ਲਿਜਾਣਾ), event-driven architecture ਅਤੇ event sourcing, real-time processing ਅਤੇ analytics, ਅਤੇ log aggregation ਅਤੇ change data capture — ਇਸ ਦੀ broad applicability ਨੂੰ high-volume, real-time data scenarios ਲਈ ਸਪੱਸ਼ਟ ਕਰਦਾ ਹੈ।

ਸਮਝਣਾ **ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ** — high throughput (millions of events/sec), durability (events persisted ਅਤੇ replicated, lost ਨਹੀਂ ਹਨ), distributed horizontal scaling, event retention (consumers reading at their own pace with replay possible — ਇੱਕ distinctive feature), ਅਤੇ decoupling — ਇਹ ਦੱਸਦਾ ਹੈ ਕਿ Kafka ਨੂੰ demanding data scenarios ਲਈ ਕਿਉਂ ਚੁਣਿਆ ਜਾਂਦਾ ਹੈ।

Kafka ਨੂੰ ਵੱਡੀਆਂ companies ਦੁਆਰਾ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਆਧੁਨਿਕ data architectures ਵਿੱਚ streaming, pipelines, ਅਤੇ event-driven systems ਲਈ ਤੇਜ਼ੀ ਨਾਲ ਆਮ ਹੋ ਰਿਹਾ ਹੈ।

ਕਿਉਂਕਿ Kafka event streaming ਅਤੇ high-volume data ਲਈ (messaging, pipelines, event-driven architectures, real-time processing) ਇੱਕ dominant, widely-used platform ਹੈ ਅਤੇ ਇਸ ਦੀ ਸੁਭਾਅ (ਇੱਕ durable, scalable event log), uses, ਅਤੇ characteristics ਨੂੰ ਸਮਝਣਾ ਮਾਡਰਨ data ਅਤੇ event-driven architecture ਲਈ foundational ਹੈ, ਤਾਂ ਸਮਝਣਾ ਕਿ Kafka ਕੀ ਹੈ ਅਤੇ ਇਸ ਦਾ ਕੀ ਕੰਮ ਹੈ, ਮੁੱਲਵਾਨ, ਵਿਆਪਕ-ਸੰਬੰਧਿਤ ਜਿਆਨ ਹੈ — ਇੱਕ major event streaming platform ਦੀ foundational ਸਮਝ, ਆਧੁਨਿਕ data architectures ਵਿੱਚ ਤੇਜ਼ੀ ਨਾਲ ਮਹੱਤਵਪੂਰਨ, ਅਤੇ ਵਧੇਰੇ ਖਾਸ Kafka topics ਲਈ ਫ੍ਰੇਮਿੰਗ, ਜੋ streaming data ਜਾਂ event-driven systems ਨਾਲ ਕੰਮ ਕਰਨ ਵਾਲੇ ਕਿਸੇ ਲਈ ਮੁੱਲਵਾਨ ਹੈ।