Kafka ਵਿੱਚ offsets ਕੀ ਹਨ ਅਤੇ ਉਹ ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ?

Question

Accepted Answer

ਇੱਕ **offset** ਇੱਕ partition ਦੇ ਅੰਦਰ ਹਰੇਕ event ਲਈ ਇੱਕ ਵਿਲੱਖਣ, ਕ੍ਰਮਾਂਕਿਤ ID ਹੈ — ਜੋ ਇਸ ਦੀ ਸਥਿਤੀ ਨੂੰ ਚਿੰਨ੍ਹਤ ਕਰਦਾ ਹੈ। Consumers offsets ਨੂੰ ਟ੍ਰੈਕ ਕਰਦੇ ਅਤੇ commit ਕਰਦੇ ਹਨ ਤਾਕਿ ਉਹ ਜਾਣ ਸਕਣ ਕਿ ਉਹਨਾਂ ਨੇ ਕੀ ਖਪਤ ਕੀਤਾ ਹੈ, ਦੋਬਾਰਾ ਸ਼ੁਰੂ ਕਰਨਾ, replay, ਅਤੇ ਭਰੋਸੇਮੰਦ processing ਨੂੰ ਸਮਰਥ ਬਣਾਉਂਦੇ ਹਨ।

## Offsets ਕੀ ਹਨ

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Consumers offsets ਨੂੰ ਕਿਵੇਂ ਵਰਤਦੇ ਹਨ

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset ਪ੍ਰਬੰਧਨ ਅਤੇ delivery semantics

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## ਇਹ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

Offsets ਨੂੰ ਸਮਝਣਾ ਬੁਨਿਆਦੀ ਹੈ ਕਿਉਂਕਿ ਇਹ **ਹਨ ਕਿਵੇਂ Kafka consumption progress ਨੂੰ ਟ੍ਰੈਕ ਕਰਦਾ ਹੈ ਅਤੇ ਇਸ ਦੀ ਵਿਸ਼ੇਸ਼ ਸਮਰਥਾਵਾਂ ਨੂੰ ਸਮਰਥ ਬਣਾਉਂਦਾ ਹੈ** (ਦੋਬਾਰਾ ਸ਼ੁਰੂ ਕਰਨਾ, replay, delivery ਗ੍ਰੈਨਟੀਜ਼), ਇਸ ਲਈ ਇਹ ਜ਼ਰੂਰੀ Kafka ਗਿਆਨ ਹੈ।

ਇੱਕ offset — ਇੱਕ partition ਦੇ ਅੰਦਰ ਇੱਕ event ਦੀ ਸਥਿਤੀ — ਕਿਵੇਂ consumers Kafka ਨਾਲ ਕੰਮ ਕਰਦੇ ਹਨ ਇਸ ਦਾ ਕੇਂਦਰ ਹੈ।

**ਕੀ offsets ਹਨ** ਨੂੰ ਸਮਝਣਾ (ਕ੍ਰਮਾਂਕਿਤ IDs ਜੋ ਇੱਕ partition ਦੇ ਕ੍ਰਮਬੱਧ log ਵਿੱਚ ਹਰੇਕ event ਦੀ ਸਥਿਤੀ ਨੂੰ ਚਿੰਨ੍ਹਤ ਕਰਦੇ ਹਨ, events ਨੂੰ ਬਰਕਰਾਰ ਰੱਖੀ ਜਾਂਦੀ ਹੈ ਤਾਂ ਕਿ offsets ਵੈਧ ਰਹੰਦੇ ਹਨ) ਸਥਾਪਨਾ ਹੈ।

**ਕਿਵੇਂ consumers offsets ਨੂੰ ਵਰਤਦੇ ਹਨ** ਨੂੰ ਸਮਝਣਾ — ਉਹਨਾਂ ਦੇ ਮੌਜੂਦਾ offset ਨੂੰ ਟ੍ਰੈਕ ਕਰਨਾ (ਉਹ ਕਿੱਥੇ ਪੜ੍ਹ ਚੁੱਕੇ ਹਨ), **offsets ਨੂੰ commit ਕਰਨਾ** progress ਨੂੰ ਰੇਕਾਰਡ ਕਰਨ ਲਈ (ਤਾਂ ਕਿ ਉਹ restart ਤੇ committed point ਤੋਂ ਦੋਬਾਰਾ ਸ਼ੁਰੂ ਕਰੀ ਅੰਤ ਤੁਲਨਾ ਤੇ ਸਭ ਕੁਝ ਮੁੜ-ਪ੍ਰਾਸੈਸ ਕਰਦਿਆਂ), ਅਤੇ **ਕਿਸੇ ਵੀ offset ਤੇ ਪੁਰਾਣੀਆਂ events ਨੂੰ replay ਕਰਨ ਲਈ ਜਾਂ ਕਿਸੇ point ਤੋਂ reprocess ਕਰਨ ਲਈ ਸਥਾਨ ਕਰਨ ਦੀ ਸਮਰਥਾ** (Kafka ਦੀ ਵਿਸ਼ੇਸ਼ replay ਸਮਰਥਾ), ਹਰੇਕ consumer group ਆਪਣੇ offsets ਨੂੰ ਸ੍ਵਤੰਤਰ ਰੂਪ ਵਿੱਚ ਟ੍ਰੈਕ ਕਰਦਾ ਹੈ — Kafka consumption, resumption, ਅਤੇ replay ਕਿਵੇਂ ਕੰਮ ਕਰਦੇ ਹਨ ਇਹ ਸਮਝਣ ਲਈ ਜ਼ਰੂਰੀ ਹੈ।
aktivتے ਮਹੱਤਵਪੂਰਨ, **offset ਪ੍ਰਬੰਧਨ ਅਤੇ delivery semantics** ਨੂੰ ਸਮਝਣਾ ਮਹੱਤਵਪੂਰਨ ਹੈ: **ਕਦ ਅਤੇ ਕਿਵੇਂ ਤੁਸੀਂ offsets ਨੂੰ commit ਕਰਦੇ ਹੋ delivery guarantees ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦਾ ਹੈ** — processing ਦੇ ਬਾਅਦ commit ਕਰਨਾ **at-least-once** ਦਿੰਦਾ ਹੈ (ਇੱਕ crash commit ਤੋਂ ਪਹਲੇ reprocessing/duplicates ਦਾ ਕਾਰਨ ਬਣਦਾ ਹੈ, idempotency ਦੀ ਲੋੜ ਹੈ), commit ਤੋਂ ਪਹਲੇ **at-most-once** ਦਿੰਦਾ ਹੈ (ਇੱਕ crash commit ਦੇ ਬਾਅਦ ਪਰ processing ਤੋਂ ਪਹਲੇ message ਨੂੰ ਖੋ ਦਿੰਦਾ ਹੈ), ਅਤੇ **exactly-once** ਨੂੰ ਹੋਰ ਦੀ ਲੋੜ ਹੈ (transactions, idempotent processing)।

Offset ਪ੍ਰਬੰਧਨ ਅਤੇ delivery guarantees ਦੇ ਵਿਚਕਾਰ ਇਹ ਸਬੰਧ ਭਰੋਸੇਮੰਦ Kafka consumers ਬਣਾਉਣ ਲਈ ਇੱਕ ਮੁੱਖ ਵਿਹਾਰਕ ਸੰਕਲਪ ਹੈ।

Auto-commit vs manual commit ਨੂੰ ਸਮਝਣਾ (guarantees ਉੱਤੇ ਨਿਯੰਤਰਣ) ਵਿਹਾਰਕ offset ਪ੍ਰਬੰਧਨ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ।

ਕਿਉਂਕਿ offsets ਹਨ ਕਿਵੇਂ Kafka consumption progress ਨੂੰ ਟ੍ਰੈਕ ਕਰਦਾ ਹੈ ਅਤੇ ਆਪਣੀ ਵਿਸ਼ੇਸ਼ ਸਮਰਥਾਵਾਂ ਨੂੰ ਸਮਰਥ ਬਣਾਉਂਦਾ ਹੈ (ਦੋਬਾਰਾ ਸ਼ੁਰੂ ਕਰਨਾ, replay) ਜਦਕਿ ਉਹਨਾਂ ਦਾ ਪ੍ਰਬੰਧਨ delivery guarantees ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ (at-least-once, at-most-once, exactly-once), ਅਤੇ ਕਿਉਂਕਿ offsets ਨੂੰ ਸਮਝਣਾ ਭਰੋਸੇਮੰਦ consumers ਬਣਾਉਣ ਲਈ ਜ਼ਰੂਰੀ ਹੈ, Kafka ਵਿੱਚ offsets ਨੂੰ ਸਮਝਣਾ ਜ਼ਰੂਰੀ, ਬੁਨਿਆਦੀ ਗਿਆਨ ਹੈ — Kafka consumption ਨੂੰ ਟ੍ਰੈਕ ਕਰਨ ਅਤੇ replay ਨੂੰ ਸਮਰਥ ਬਣਾਉਣ ਲਈ ਕੇਂਦਰੀ, ਅਤੇ offset ਪ੍ਰਬੰਧਨ ਦੇ ਮਾਧਿਅਮ ਤੋਂ delivery guarantees ਨਾਲ ਮਹੱਤਵਪੂਰਨ ਤੌਰ ਤੇ ਸਬੰਧਤ, ਭਰੋਸੇਮੰਦ Kafka consumers ਬਣਾਉਣ ਲਈ ਜ਼ਰੂਰੀ ਅਤੇ ਇੱਕ ਮੂਲ Kafka ਸੰਕਲਪ।