Co jsou offsety v Kafce a jak fungují?

Question

Accepted Answer

**Offset** je jedinečné, sekvenční ID pro každou událost v rámci partition — označuje její pozici. Consumeři sledují a potvrzují offsety, aby věděli, co konzumovali, což umožňuje obnovení, přehrání a spolehlivé zpracování.

## Co jsou offsety

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Jak consumeři používají offsety

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Správa offsetů a sémantika doručování

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Proč na to záleží

Pochopení offsetů je zásadní, protože jsou to **jak Kafka sleduje průběh spotřeby a umožňuje své charakteristické funkce** (obnovení, přehrání, garance doručování), takže je to zásadní znalost Kafky.

Offset — pozice události v rámci partition — je centrální pro to, jak consumeři pracují s Kafkou.

Pochopení **co jsou offsety** (sekvenční ID označující pozici každé události v seřazeném logu partition, přičemž eventos jsou uchovávány, takže offsety zůstávají platné) je základem.

Pochopení **jak consumeři používají offsety** — sledování jejich aktuálního offsetu (jak daleko přečetli), **potvrzování offsetů** pro záznam pokroku (aby se obnovili z potvrzeného bodu při restartování namísto opakovaného zpracování všeho), a schopnost **hledat na jakýkoli offset pro přehrání** starých событostí nebo opakované zpracování z určitého bodu (Kafkova charakteristická schopnost přehrání), přičemž každá consumer group sleduje své offsety nezávisle — je zásadní pro pochopení, jak fungují spotřeba Kafky, obnovení a přehrání.

Nejdůležitější je pochopení **správy offsetů a sémantiky doručování**: **kdy a jak potvrzujete offsety, ovlivňuje garance doručování** — potvrzení po zpracování dává **alespoň jednou** (pád před potvrzením způsobí opakované zpracování/duplikáty, vyžadující idempotenci), potvrzení před dává **nejvíce jednou** (pád po potvrzení, ale před zpracováním ztrácí zprávu), a **právě jednou** vyžaduje více (transakce, idempotentní zpracování).

Tato vazba mezi správou offsetů a garancemi doručování je klíčový praktický koncept pro vytváření spolehlivých Kafka consumérů.

Pochopení auto-commitu versus ručního commitu (kontrola nad garancemi) odráží praktickou správu offsetů.

Protože offsety jsou způsob, jakým Kafka sleduje průběh spotřeby a umožňuje své charakteristické funkce (obnovení, přehrání), zatímco jejich správa určuje garance doručování (alespoň jednou, nejvíce jednou, právě jednou), a protože pochopení offsetů je zásadní pro vytváření spolehlivých consumérů, je pochopení offsetů v Kafce zásadní, základní znalost — centrální pro to, jak Kafka sleduje spotřebu a umožňuje přehrání, a crucially spojena s garancemi doručování prostřednictvím správy offsetů, zásadní pro vytváření spolehlivých Kafka consumérů a základní koncept Kafky.