Kafka का मूल अवधारणाहरु के हुन् (topics, partitions, brokers)?

Question

IT Interview Practice · Accepted Answer

Kafka को मूल अवधारणाहरु **topics** (घटनाहरुको वर्ग), **partitions** (topics भित्र समानान्तरताको इकाई), **brokers** (सर्भरहरु), **producers** (लेख्न), र **consumers** (पढ्न) समावेश गर्दछन्। यी अवधारणाहरु बुझ्न Kafka सँग काम गर्न आवश्यक छ।

## मूल अवधारणाहरु

```text
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
  → producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
  → the unit of PARALLELISM and scaling; events distributed across partitions
  → order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
```

## Partitions र offsets

```text
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
  → ordering for that key)
```

## यो कसरी एक साथ काम गर्दछ

```text
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
  → Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
  offsets track position
```

## यो किन महत्त्वपूर्ण छ

Kafka को मूल अवधारणाहरु बुझ्न आवश्यक छ किनभने **topics, partitions, brokers, producers, र consumers Kafka को निर्माण खण्ड हुन्**, त्यसैले यी अवधारणाहरु बुझ्न कुनै पनि Kafka कामको लागि आवश्यक छ।

यी अवधारणाहरु Kafka कसरी काम गर्दछ भन्ने कुराको आधार बनाउँछन्।

**topics** (घटनाहरुको नाम राखिएको वर्ग/स्ट्रीम जहाँ producers लेख्छन् र consumers पढ्छन्) बुझ्न आवश्यक छ यो आधारभूत आयोजन अवधारणा हो।

**partitions** बुझ्न विशेष गरी महत्त्वपूर्ण छ: topics लाई partitions (क्रमबद्ध, append-only logs) मा विभाजित गरिन्छ जो **समानान्तरता र स्केलिङको इकाई** हुन्, महत्त्वपूर्ण गुणसहित कि **क्रम एक partition भित्र ग्यारान्टीद गरिएको छ तर partitions भित्र छैन** — यो महत्त्वपूर्ण अवधारणा छ जसले Kafka कसरी स्केल गर्दछ र घटनाहरु क्रमबद्ध गर्दछ भन्ने कुरालाई प्रभाव पारदछ।

**brokers** (Kafka सर्भरहरु, एक क्लस्टर बनाउँदै), **producers** (घटनाहरु लेख्दै), र **consumers** (घटनाहरु पढ्दै) बुझ्न आधारभूत आर्किटेक्चर पूरा गर्दछ।

**partitions र offsets** बुझ्न — प्रत्येक partition क्रमबद्ध अपरिवर्तनीय अनुक्रम भएको जहाँ घटनाहरुको **offsets** (स्थिति) छ, consumers को उनीहरुको offset ट्र्याक गरी पुनः सुरु गर्न र पुनरावृत्ति गर्न, घटनाहरु राखिएको छ त्यसैले consumers आफ्नो गतिमा पढ्न सक्छन्, र **partition key** निर्धारण गर्दछ कुन partition मा एक घटना जान्छ (एक जस्तै key → एक partition → त्यस key को लागि क्रम) — यो Kafka को डाटा मोडेल र क्रम ग्यारान्टी बुझ्न आवश्यक छ।

**यो कसरी एक साथ काम गर्दछ** बुझ्न (producers topics/partitions मा लेख्छन् जो दोहोरीकृत brokers मा भण्डारित छन्, consumers पढ्छन् जब अफसेट ट्र्याक गर्छन्) पूर्ण चित्र प्रदान गर्दछ।

यी अवधारणाहरु Kafka को शब्दावली र मेकानिक्स हुन् जो सबै अन्य कुरा यस मा बनाइएको छ।

Kafka को मूल अवधारणाहरु बुझ्न आवश्यक छ किनभने topics, partitions, brokers, producers, consumers, र offsets Kafka को आधारभूत निर्माण खण्ड हुन् (partitions र क्रम विशेष गरी महत्त्वपूर्ण अवधारणा भएको), र यी बुझ्न कुनै पनी Kafka कामको लागि आवश्यक छ, Kafka को मूल अवधारणाहरु बुझ्न आवश्यक, आधारभूत ज्ञान छ — Kafka सँग काम गर्न आवश्यक निर्माण खण्ड, Kafka कसरी आयोजित गर्दछ, स्केल गर्दछ, क्रमबद्ध गर्दछ, र भण्डारित गर्दछ भन्ने कुरा बुझ्न केन्द्रीय, र सबै Kafka विषयहरुको आधार।

मूल अवधारणाहरु

Partitions र offsets

यो कसरी एक साथ काम गर्दछ

यो किन महत्त्वपूर्ण छ

सम्बन्धित प्रश्नहरू