Kafka को मूल अवधारणाहरु topics (घटनाहरुको वर्ग), partitions (topics भित्र समानान्तरताको इकाई), brokers (सर्भरहरु), producers (लेख्न), र consumers (पढ्न) समावेश गर्दछन्। यी अवधारणाहरु बुझ्न Kafka सँग काम गर्न आवश्यक छ।
मूल अवधारणाहरु
TOPIC → a named category/stream of events (like a "channel" — e.g. "orders", "clicks")
→ producers write to topics; consumers read from them
PARTITION → a topic is split into PARTITIONS (ordered, append-only logs):
→ the unit of PARALLELISM and scaling; events distributed across partitions
→ order is guaranteed WITHIN a partition (not across partitions)
BROKER → a Kafka SERVER (stores data, serves clients); a CLUSTER = multiple brokers
PRODUCER → writes (publishes) events to topics
CONSUMER → reads (subscribes to) events from topics
Partitions र offsets
→ each partition is an ordered, immutable sequence of events
→ each event has an OFFSET (its position in the partition)
→ consumers track their offset (where they've read to) → can resume, replay
→ events stay in the partition (retained); consumers read at their own pace
→ a partition KEY determines which partition an event goes to (same key → same partition
→ ordering for that key)
यो कसरी एक साथ काम गर्दछ
Producer → writes to a TOPIC (→ a PARTITION based on key) → stored on a BROKER (replicated)
→ Consumer reads from the partition (tracking its offset)
→ topics organize events; partitions enable parallelism/scale; brokers store/serve;
offsets track position
यो किन महत्त्वपूर्ण छ
Kafka को मूल अवधारणाहरु बुझ्न आवश्यक छ किनभने topics, partitions, brokers, producers, र consumers Kafka को निर्माण खण्ड हुन्, त्यसैले यी अवधारणाहरु बुझ्न कुनै पनि Kafka कामको लागि आवश्यक छ।
यी अवधारणाहरु Kafka कसरी काम गर्दछ भन्ने कुराको आधार बनाउँछन्।
topics (घटनाहरुको नाम राखिएको वर्ग/स्ट्रीम जहाँ producers लेख्छन् र consumers पढ्छन्) बुझ्न आवश्यक छ यो आधारभूत आयोजन अवधारणा हो।
partitions बुझ्न विशेष गरी महत्त्वपूर्ण छ: topics लाई partitions (क्रमबद्ध, append-only logs) मा विभाजित गरिन्छ जो समानान्तरता र स्केलिङको इकाई हुन्, महत्त्वपूर्ण गुणसहित कि क्रम एक partition भित्र ग्यारान्टीद गरिएको छ तर partitions भित्र छैन — यो महत्त्वपूर्ण अवधारणा छ जसले Kafka कसरी स्केल गर्दछ र घटनाहरु क्रमबद्ध गर्दछ भन्ने कुरालाई प्रभाव पारदछ।
brokers (Kafka सर्भरहरु, एक क्लस्टर बनाउँदै), producers (घटनाहरु लेख्दै), र consumers (घटनाहरु पढ्दै) बुझ्न आधारभूत आर्किटेक्चर पूरा गर्दछ।
partitions र offsets बुझ्न — प्रत्येक partition क्रमबद्ध अपरिवर्तनीय अनुक्रम भएको जहाँ घटनाहरुको offsets (स्थिति) छ, consumers को उनीहरुको offset ट्र्याक गरी पुनः सुरु गर्न र पुनरावृत्ति गर्न, घटनाहरु राखिएको छ त्यसैले consumers आफ्नो गतिमा पढ्न सक्छन्, र partition key निर्धारण गर्दछ कुन partition मा एक घटना जान्छ (एक जस्तै key → एक partition → त्यस key को लागि क्रम) — यो Kafka को डाटा मोडेल र क्रम ग्यारान्टी बुझ्न आवश्यक छ।
यो कसरी एक साथ काम गर्दछ बुझ्न (producers topics/partitions मा लेख्छन् जो दोहोरीकृत brokers मा भण्डारित छन्, consumers पढ्छन् जब अफसेट ट्र्याक गर्छन्) पूर्ण चित्र प्रदान गर्दछ।
यी अवधारणाहरु Kafka को शब्दावली र मेकानिक्स हुन् जो सबै अन्य कुरा यस मा बनाइएको छ।
Kafka को मूल अवधारणाहरु बुझ्न आवश्यक छ किनभने topics, partitions, brokers, producers, consumers, र offsets Kafka को आधारभूत निर्माण खण्ड हुन् (partitions र क्रम विशेष गरी महत्त्वपूर्ण अवधारणा भएको), र यी बुझ्न कुनै पनी Kafka कामको लागि आवश्यक छ, Kafka को मूल अवधारणाहरु बुझ्न आवश्यक, आधारभूत ज्ञान छ — Kafka सँग काम गर्न आवश्यक निर्माण खण्ड, Kafka कसरी आयोजित गर्दछ, स्केल गर्दछ, क्रमबद्ध गर्दछ, र भण्डारित गर्दछ भन्ने कुरा बुझ्न केन्द्रीय, र सबै Kafka विषयहरुको आधार।