Wat zijn offsets in Kafka en hoe werken ze?

Question

Accepted Answer

Een **offset** is een unieke, sequentiële ID voor elk event binnen een partitie — die de positie markeert. Consumenten volgen en committen offsets om te weten wat ze hebben geconsumeerd, wat hervatten, replay en betrouwbare verwerking mogelijk maakt.

## Wat offsets zijn

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Hoe consumenten offsets gebruiken

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset management en delivery semantics

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Waarom het belangrijk is

Offsets begrijpen is fundamenteel omdat ze **hoe Kafka consumptievooruitgang volgt en zijn distinctieve mogelijkheden mogelijk maakt** (hervatten, replay, delivery guarantees), dus het is essentiële Kafka-kennis.

Een offset — de positie van een event binnen een partitie — is centraal voor hoe consumenten met Kafka werken.

Begrijpen **wat offsets zijn** (sequentiële IDs die elk event's positie in het geordende log van een partitie markeren, met events die behouden blijven zodat offsets geldig blijven) is de basis.

Begrijpen **hoe consumenten offsets gebruiken** — hun huidige offset volgen (waar ze naar hebben gelezen), **offsets committen** om vooruitgang vast te leggen (zodat ze bij herstart vanaf het gecommitte punt hervatten in plaats van alles opnieuw te verwerken), en de mogelijkheid **naar elke offset te zoeken om oude events af te spelen of vanaf een punt opnieuw te verwerken** (Kafka's distinctieve replay-mogelijkheid), waarbij elke consumentengroep haar eigen offsets onafhankelijk volgt — is essentieel voor het begrijpen van hoe Kafka-consumptie, hervatten en replay werken.

Meest belangrijk is het begrijpen van **offset management en delivery semantics** cruciaal: **wanneer en hoe je offsets commit beïnvloedt delivery guarantees** — committen na verwerking geeft **at-least-once** (een crash voor commit veroorzaakt herverwerking/duplicaten, wat idempotentie vereist), committen voor geeft **at-most-once** (een crash na commit maar voor verwerking verliest het bericht), en **exactly-once** vereist meer (transacties, idempotente verwerking).

Deze verbinding tussen offset management en delivery guarantees is een key praktisch concept voor het bouwen van betrouwbare Kafka-consumenten.

Begrijpen van auto-commit versus manual commit (controle over guarantees) weerspiegelt praktisch offset management.

Omdat offsets hoe Kafka consumptievooruitgang volgt en zijn distinctieve mogelijkheden maakt mogelijk (hervatten, replay) terwijl hun management delivery guarantees bepaalt (at-least-once, at-most-once, exactly-once), en omdat offsets begrijpen essentieel is voor het bouwen van betrouwbare consumenten, is het begrijpen van offsets in Kafka essentiële, fundamentele kennis — centraal voor hoe Kafka consumptie volgt en replay mogelijk maakt, en cruciaal verbonden met delivery guarantees via offset management, essentieel voor het bouwen van betrouwbare Kafka-consumenten en een kernkoncepten van Kafka.