Kafka இல் offsets என்றால் என்ன மற்றும் அவை எவ்வாறு செயல்படுகின்றன?

Question

Accepted Answer

ஒரு **offset** என்பது partition இற்குள் ஒவ்வொரு event க்கும் ஒரு தனிப்பட்ட, sequential ID - அதன் நிலையை குறிக்கிறது. Consumers offsets ஐ track செய்து commit செய்கிறார்கள் அவர்கள் எதைக் consume செய்துவிட்டார்கள் என்பதை அறிய, resuming, replay மற்றும் reliable processing ஐ enable செய்கிறது.

## Offsets என்றால் என்ன

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Consumers offsets ஐ எவ்வாறு பயன்படுத்துகிறார்கள்

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset management மற்றும் delivery semantics

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## இது ஏன் முக்கியமானது

Offsets ஐ புரிந்துகொள்வது அடிப்படையாக முக்கியமானது ஏனெனில் அவை **Kafka consumption progress ஐ track செய்து அதன் distinctive capabilities ஐ enable செய்கிறது** (resuming, replay, delivery guarantees), எனவே இது Kafka ஆ அவசியமான அறிவு.

ஒரு offset - ஒரு partition இற்குள் ஒரு event இன் நிலை - Kafka உடன் consumers எவ்வாறு செயல்படுகிறார்கள் என்பதற்கு மையமாக உள்ளது.

**Offsets என்றால் என்ன என்பதை** புரிந்துகொள்வது (sequential IDs அவை partition இன் ordered log இல் ஒவ்வொரு event இன் நிலையை குறிக்கிறது, events retain செய்யப்படுவதால் offsets valid ஆக இருக்கின்றன) அடிப்படையாக உள்ளது.

**Consumers offsets ஐ எவ்வாறு பயன்படுத்துகிறார்கள் என்பதை** புரிந்துகொள்வது - அவர்களின் current offset ஐ track செய்வது (அவர்கள் எங்கு வரை read செய்துவிட்டார்கள்), **offsets ஐ commit செய்வது** progress ஐ record செய்ய (restart செய்யும்போது committed point இல் இருந்து resume செய்ய முடியும் பதிலாக எல்லாவற்றையும் மீண்டும் process செய்ய), மற்றும் **any offset க்கு seek செய்ய old events ஐ replay செய்யவோ அல்லது ஒரு point இல் இருந்து reprocess செய்யவோ** (Kafka இன் distinctive replay capability), ஒவ்வொரு consumer group தனித்தன்மையாக அதன் offsets ஐ track செய்கிறது - புரிந்துகொள்வது Kafka consumption, resumption, மற்றும் replay எவ்வாறு செயல்படுகிறது என்பதை புரிந்துகொள்ள அவசியமாக உள்ளது.

பெரும்பாலான முக்கியமாக, **offset management மற்றும் delivery semantics** ஐ புரிந்துகொள்வது முக்கியமாக உள்ளது: **நீங்கள் offsets ஐ எப்போது மற்றும் எவ்வாறு commit செய்கிறீர்கள் என்பது delivery guarantees ஐ பாதிக்கிறது** - processing க்குப் பிறகு commit செய்வது **at-least-once** ஐ give செய்கிறது (crash commit க்கு முன்பு reprocessing/duplicates ஐ cause செய்கிறது, idempotency ஐ require செய்கிறது), commit க்கு முன்பு செய்வது **at-most-once** ஐ give செய்கிறது (crash commit க்குப் பிறகு ஆனால் processing க்கு முன்பு message ஐ lose செய்கிறது), மற்றும் **exactly-once** அதிக requirement ஐ require செய்கிறது (transactions, idempotent processing).

Offset management மற்றும் delivery guarantees க்கு இடையேயான இந்த connection reliable Kafka consumers ஐ build செய்ய ஒரு key practical concept ஆ உள்ளது.

Auto-commit vs manual commit ஐ புரிந்துகொள்வது (guarantees ஆ control) practical offset management ஐ reflect செய்கிறது.

Offsets Kafka ஆ consumption progress ஐ track செய்தும், அதன் distinctive capabilities ஐ enable செய்தும் (resuming, replay), அவற்றின் management delivery guarantees ஐ determine செய்கிறது (at-least-once, at-most-once, exactly-once) என்பதிலிருந்து, offsets ஐ புரிந்துகொள்வது reliable consumers ஐ build செய்ய அவசியமாக உள்ளது, offsets ஐ Kafka இல் புரிந்துகொள்வது அவசியமாக, அடிப்படையாக உள்ளது - Kafka consumption ஐ track செய்தும், replay ஐ enable செய்தும் மையமாக உள்ளது, மற்றும் offset management மூலம் delivery guarantees உடன் critically connected, reliable Kafka consumers ஐ build செய்ய அவசியமாக உள்ளது மற்றும் ஒரு core Kafka concept ஆ உள்ளது.