Kafka की मुख्य अवधारणाएँ (topics, partitions, brokers) क्या हैं?

Question

Accepted Answer

Kafka की मुख्य अवधारणाओं में **topics** (events की श्रेणियाँ), **partitions** (topics के भीतर parallelism की इकाइयाँ), **brokers** (servers), **producers** (लिखते हैं) और **consumers** (पढ़ते हैं) शामिल हैं। इन्हें समझना Kafka के साथ काम करने के लिए मूलभूत है।

## मुख्य अवधारणाएँ

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions और offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## यह सब एक साथ कैसे जुड़ता है

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## यह क्यों महत्वपूर्ण है

Kafka की मुख्य अवधारणाओं को समझना मूलभूत है क्योंकि **topics, partitions, brokers, producers और consumers Kafka के निर्माण खंड हैं**, इसलिए इन्हें समझना किसी भी Kafka कार्य के लिए आवश्यक है।

ये अवधारणाएँ Kafka कैसे काम करता है इसकी बुनियाद बनाती हैं।

**Topics** को समझना (events की नामित श्रेणियाँ/streams जिनमें producers लिखते हैं और consumers पढ़ते हैं) बुनियादी संगठनात्मक अवधारणा है।

**Partitions** को समझना विशेष रूप से महत्वपूर्ण है: topics को partitions (ordered, append-only logs) में विभाजित किया जाता है जो **parallelism और scaling की इकाई** हैं, इस महत्वपूर्ण गुण के साथ कि **order एक partition के भीतर guarantee होता है, partitions के पार नहीं** — एक मुख्य अवधारणा जो प्रभावित करती है कि Kafka कैसे scale और events को order करता है।

**Brokers** (Kafka servers, जो एक cluster बनाते हैं), **producers** (events लिखते हैं) और **consumers** (events पढ़ते हैं) को समझना बुनियादी architecture को पूरा करता है।

**Partitions और offsets** को समझना — प्रत्येक partition एक ordered immutable sequence होना जहाँ events में **offsets** (positions) होते हैं, consumers अपने offset को track करके resume और replay करते हैं, events को retain किया जाता है ताकि consumers अपनी गति से पढ़ें, और **partition key** यह निर्धारित करती है कि event किस partition में जाएगा (same key → same partition → उस key के लिए ordering) — Kafka के data model और ordering guarantees को समझने के लिए आवश्यक है।

**यह सब एक साथ कैसे जुड़ता है** यह समझना (producers topics/partitions में लिखते हैं जो replicated brokers पर store होते हैं, consumers offsets को track करते हुए पढ़ते हैं) पूरी तस्वीर प्रदान करता है।

ये अवधारणाएँ Kafka की शब्दावली और तंत्र हैं जिन पर बाकी सब कुछ निर्मित होता है।

चूँकि topics, partitions, brokers, producers, consumers और offsets Kafka के मूलभूत निर्माण खंड हैं (partitions और ordering विशेष रूप से महत्वपूर्ण अवधारणाएँ होने के साथ), और चूँकि इन्हें समझना किसी भी Kafka कार्य के लिए आवश्यक है, इसलिए Kafka की मुख्य अवधारणाओं को समझना आवश्यक, बुनियादी ज्ञान है — Kafka के निर्माण खंड जो इसके साथ काम करने के लिए ज़रूरी हैं, यह समझने के लिए केंद्रीय कि Kafka events को कैसे organize, scale, order और store करता है, और सभी Kafka विषयों की बुनियाद।