Czym są offsety w Kafce i jak one działają?

Question

Accepted Answer

**Offset** to unikalny, sekwencyjny identyfikator dla każdego zdarzenia w partycji — oznaczający jego pozycję. Konsumenci śledzą i zatwierdzają offsety, aby wiedzieć, co już konsumowali, co umożliwia wznowienie, odtwarzanie i niezawodne przetwarzanie.

## Czym są offsety

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Jak konsumenci używają offsetów

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Zarządzanie offsetami i semantyka dostarczania

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Dlaczego to ważne

Rozumienie offsetów jest fundamentalne, ponieważ to **sposób, w jaki Kafka śledzi postęp konsumpcji i umożliwia swoje charakterystyczne możliwości** (wznowienie, odtwarzanie, gwarancje dostarczania), więc jest to niezbędna wiedza o Kafce.

Offset — pozycja zdarzenia w partycji — jest kluczowy dla tego, jak konsumenci pracują z Kafką.

Rozumienie **czym są offsety** (sekwencyjne identyfikatory oznaczające pozycję każdego zdarzenia w uporządkowanym logach partycji, ze zdarzeniami przechowywanymi, aby offsety pozostały ważne) jest podstawą.

Rozumienie **jak konsumenci używają offsetów** — śledzenie ich bieżącego offsetu (gdzie dotarli w czytaniu), **zatwierdzanie offsetów** w celu zarejestru postępu (aby wznowili od zatwierdzonego punktu po ponownym uruchomieniu zamiast przetwarzania wszystkiego ponownie), i możliwość **szukania do dowolnego offsetu w celu odtworzenia** starych zdarzeń lub ponownego przetworzenia od punktu (charakterystyczna dla Kafki możliwość odtwarzania), gdzie każda grupa konsumentów śledzi swoje offsety niezależnie — jest niezbędne do zrozumienia, jak działają konsumpcja, wznowienie i odtwarzanie w Kafce.

Najważniejsze, rozumienie **zarządzania offsetami i semantyki dostarczania** jest krytyczne: **kiedy i jak zatwierdzasz offsety wpływa na gwarancje dostarczania** — zatwierdzenie po przetworzeniu daje **co najmniej raz** (awaria przed zatwierdzeniem powoduje ponowne przetworzenie/duplikaty, wymagające idempotencji), zatwierdzenie przed daje **co najwyżej raz** (awaria po zatwierdzeniu, ale przed przetworzeniem traci wiadomość), a **dokładnie raz** wymaga więcej (transakcje, idempotentne przetwarzanie).

To powiązanie między zarządzaniem offsetami a gwarancjami dostarczania to kluczowe praktyczne pojęcie dla budowania niezawodnych konsumentów Kafki.

Rozumienie automat-commit vs ręczne zatwierdzanie (kontrola nad gwarancjami) odzwierciedla praktyczne zarządzanie offsetami.

Ponieważ offsety to sposób, w jaki Kafka śledzi postęp konsumpcji i umożliwia swoje charakterystyczne możliwości (wznowienie, odtwarzanie), podczas gdy ich zarządzanie określa gwarancje dostarczania (co najmniej raz, co najwyżej raz, dokładnie raz), i ponieważ rozumienie offsetów jest niezbędne dla budowania niezawodnych konsumentów, rozumienie offsetów w Kafce jest niezbędną, fundamentalną wiedzą — kluczową dla tego, jak Kafka śledzi konsumpcję i umożliwia odtwarzanie, i krytycznie powiązaną z gwarancjami dostarczania poprzez zarządzanie offsetami, niezbędną dla budowania niezawodnych konsumentów Kafki i podstawowego pojęcia w Kafce.