Kafka मा offsets के हुन् र तिनीहरू कसरी काम गर्छन्?

Question

Accepted Answer

एक **offset** प्रत्येक partition भित्र प्रत्येक event को लागि एक अद्वितीय, क्रमिक ID हो — यसले यसको स्थिति चिन्ह गर्छ। Consumers offsets ट्र्याक र commit गर्छन् कि उनीहरूले के consume गरेका छन् भनी जान्न, resuming, replay, र विश्वसनीय प्रसंस्करण सक्षम गर्छन्।

## Offsets के हुन्

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Consumers कसरी offsets प्रयोग गर्छन्

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset प्रबन्धन र delivery semantics

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## यो किन महत्त्वपूर्ण छ

Offsets बुझ्न आवश्यक छ किनभने तिनीहरू **Kafka ले consumption प्रगति कसरी ट्र्याक गर्छ र यसको विशिष्ट क्षमताहरू कसरी सक्षम गर्छ** (resuming, replay, delivery guarantees), त्यसैले यो आवश्यक Kafka ज्ञान हो।

एक offset — एक partition भित्र एक event को स्थिति — Kafka सँग consumers कसरी काम गर्छन् भन्ने कुरामा केन्द्रीय छ।

**Offsets के हुन्** भनी बुझ्न (क्रमिक IDs जसले partition को ordered log मा प्रत्येक event को स्थिति चिन्ह गर्छ, events सँग retain भएका छन् त्यसैले offsets वैध रहन्छ) आधार हो।

**Consumers कसरी offsets प्रयोग गर्छन्** भनी बुझ्न — तिनीहरूको current offset ट्र्याक गर्ने (तिनीहरूले कहाँ सम्म पढेका छन्), **offsets commit गर्ने** प्रगति रेकर्ड गर्न (त्यसैले तिनीहरू restart मा committed बिन्दुबाट resume गर्छन् सबै कुरा पुनः प्रसंस्करण गर्नुको सट्टा), र **कुनै पनि offset मा seek गर्न सक्षम हुने** पुरानो events replay गर्न वा कुनै बिन्दुबाट पुनः प्रसंस्करण गर्न (Kafka को विशिष्ट replay क्षमता), प्रत्येक consumer group ले यसको आफ्नै offsets स्वतन्त्रतापूर्वक ट्र्याक गरेर — Kafka consumption, resumption, र replay कसरी काम गर्छ भन्ने कुरा बुझ्नको लागि आवश्यक छ।

skआटी महत्त्वपूर्ण कुरा, **offset प्रबन्धन र delivery semantics** बुझ्न महत्त्वपूर्ण छ: **तपाईं कहिले र कसरी offsets commit गर्नुहुन्छ भनी delivery guarantees लाई प्रभाव गर्छ** — प्रसंस्करण पछि commit गर्दा **at-least-once** दिन्छ (restart अघि commit को लागि crash ले reprocessing/duplicates कारण गर्छ, idempotency चाहिन्छ), अघि commit गर्दा **at-most-once** दिन्छ (commit पछि तर प्रसंस्करण अघि crash ले सन्देश हराउँछ), र **exactly-once** लाई थप चाहिन्छ (transactions, idempotent processing)।

Offset प्रबन्धन र delivery guarantees बीचको यो सम्बन्ध विश्वसनीय Kafka consumers निर्माण गर्नको लागि एक मुख्य व्यावहारिक अवधारणा हो।

Auto-commit बनाम manual commit (guarantees मा नियन्त्रण) बुझ्न practical offset प्रबन्धन प्रतिबिम्बित गर्छ।

Kafka कसरी offsets प्रयोग गरेर consumption प्रगति ट्र्याक गर्छ र यसको विशिष्ट क्षमताहरू (resuming, replay) सक्षम गर्छ, र उनीहरूको प्रबन्धन delivery guarantees (at-least-once, at-most-once, exactly-once) निर्धारण गर्छ भनी बुझ्न आवश्यक छ, र offsets बुझ्न आवश्यक छ विश्वसनीय consumers निर्माण गर्नको लागि, offsets Kafka मा बुझ्न आवश्यक, आधारभूत ज्ञान हो — Kafka कसरी consumption ट्र्याक गर्छ र replay सक्षम गर्छ भन्ने कुरामा केन्द्रीय, र offset प्रबन्धन मार्फत delivery guarantees सँग महत्त्वपूर्ण रूपमा जोडिएको, विश्वसनीय Kafka consumers निर्माण गर्नको लागि आवश्यक र एक मुख्य Kafka अवधारणा।