Kafka లో offsets ఏమిటి మరియు అవి ఎలా పని చేస్తాయి?

Question

Accepted Answer

An **offset** is a unique, sequential ID for each event within a partition — marking its position. Consumers track and commit offsets to know what they've consumed, enabling resuming, replay, and reliable processing.

## Offsets అంటే ఏమిటి

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Consumers offsets ను ఎలా ఉపయోగిస్తారు

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset నిర్వహణ మరియు delivery semantics

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## ఎందుకు ఇది ముఖ్యమైనది

Offsets ను అర్థం చేసుకోవడం ప్రాథమికమైనది ఎందుకంటే అవి **Kafka consumption progress ను track చేయడానికి మరియు దాని distinctive capabilities ను enable చేయడానికి** (resuming, replay, delivery guarantees), కాబట్టి ఇది essential Kafka జ్ఞానం.

An offset — partition లో ఒక event యొక్క position — Kafka తో consumers ఎలా పని చేస్తారనేది అర్థం చేసుకోవడానికి కేంద్రీయమైనది.

**Offsets ఏమిటో** అర్థం చేసుకోవడం (partition యొక్క ordered log లో ప్రతిটి event యొక్క position ను mark చేసే sequential IDs, events retained కాబట్టి offsets valid గా ఉంటాయి) ఆధారం.

**Consumers offsets ను ఎలా ఉపయోగిస్తారో** అర్థం చేసుకోవడం — వారి current offset ను track చేయడం (అవి ఎక్కడ చదివారో), **progress ను record చేయడానికి offsets ను commit చేయడం** (కాబట్టి అవి restart పై committed point నుండి resume చేస్తాయి all ను reprocess చేయడం కంటే), మరియు **old events ను replay చేయడానికి లేదా point నుండి reprocess చేయడానికి any offset కు seek చేయగలిగిన సామర్థ్యం** (Kafka యొక్క distinctive replay capability), ప్రతిটి consumer group దాని offsets ను independently track చేస్తున్నప్పుడు — Kafka consumption, resumption, మరియు replay ఎలా పని చేస్తుందో అర్థం చేసుకోవడానికి essential.

సర్వ ముఖ్యమైనది, **offset management మరియు delivery semantics** అర్థం చేసుకోవడం crucial: **మీరు offsets ను ఎప్పుడు మరియు ఎలా commit చేస్తారో delivery guarantees ను affect చేస్తుంది** — processing తర్వాత commit చేయడం **at-least-once** ఇస్తుంది (commit ముందు crash reprocessing/duplicates కు కారణమవుతుంది, idempotency ను require చేస్తుంది), commit చేయడం ముందు **at-most-once** ఇస్తుంది (crash commit తర్వాత కానీ processing ముందు message ను loses చేస్తుంది), మరియు **exactly-once** కు మరిన్నిది require చేస్తుంది (transactions, idempotent processing).

Yes offset management మరియు delivery guarantees ల మధ్య ఈ connection reliable Kafka consumers నిర్మించడానికి key practical concept.

Auto-commit vs manual commit (guarantees కంటే control) అర్థం చేసుకోవడం practical offset management ను reflects చేస్తుంది.

Offsets Kafka consumption progress ను track చేయడానికి మరియు దాని distinctive capabilities (resuming, replay) ను enable చేయడానికి ఎలా ఉన్నాయో ఎందుకంటే వాటి management delivery guarantees (at-least-once, at-most-once, exactly-once) ను determine చేస్తుంది, మరియు offsets ను అర్థం చేసుకోవడం reliable consumers నిర్మించడానికి essential కాబట్టి, Kafka లో offsets ను అర్థం చేసుకోవడం essential, foundational knowledge — Kafka consumption track చేయడానికి మరియు replay enable చేయడానికి central, మరియు crucially offset management ద్వారా delivery guarantees కు connected, reliable Kafka consumers నిర్మించడానికి essential మరియు core Kafka concept.