Hvad er offsets i Kafka, og hvordan fungerer de?

Question

Accepted Answer

Et **offset** er et unikt, sekventielt ID for hver begivenhed inden for en partition — der markerer dens position. Consumere sporer ogcommitter offsets for at vide, hvad de har konsumeret, hvilket muliggør genoptagelse, afspilning og pålidelig behandling.

## Hvad offsets er

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Hvordan consumere bruger offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset-styring og delivery-semantik

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Hvorfor det betyder noget

At forstå offsets er fundamental, fordi de er **hvordan Kafka sporer forbrugsfremgang og muliggør dets karakteristiske egenskaber** (genoptagelse, afspilning, delivery-garantier), så det er vigtig Kafka-viden.

Et offset — positionen af en begivenhed inden for en partition — er central for hvordan consumere arbejder med Kafka.

At forstå **hvad offsets er** (sekventielle ID'er, der markerer hver begivenheders position i en partitions ordnede log, hvor begivenheder bevares, så offsets forbliver gyldige) er grundlaget.

At forstå **hvordan consumere bruger offsets** — spore deres aktuelle offset (hvor de har læst til), **committe offsets** for at registrere fremgang (så de genoptager fra det committede punkt ved genstart i stedet for at genbehandle alt), og kunne **søge til ethvert offset for at afspille** gamle begivenheder eller genbehandle fra et punkt (Kafkas karakteristiske afspilningsevne), hvor hver consumer-gruppe sporer sine egne offsets uafhængigt — er vigtig for at forstå hvordan Kafka-forbrug, genoptagelse og afspilning fungerer.

Mest vigtigt er det at forstå **offset-styring og delivery-semantik** afgørende: **hvornår og hvordan du committer offsets påvirker delivery-garantier** — at committe efter behandling giver **mindst-en-gang** (et nedbrud før commit forårsager genbehandling/duplikater, hvilket kræver idempotens), commit før giver **højst-en-gang** (et nedbrud efter commit men før behandling mister beskeden), og **præcis-en-gang** kræver mere (transaktioner, idempotent behandling).

Denne forbindelse mellem offset-styring og delivery-garantier er et vigtig praktisk koncept for at opbygge pålidelige Kafka-consumere.

At forstå auto-commit versus manuel commit (kontrol over garantier) afspejler praktisk offset-styring.

Da offsets er hvordan Kafka sporer forbrugsfremgang og muliggør dets karakteristiske evner (genoptagelse, afspilning), samtidig med at deres styring bestemmer delivery-garantier (mindst-en-gang, højst-en-gang, præcis-en-gang), og da forståelse af offsets er vigtig for at opbygge pålidelige consumere, er forståelse af offsets i Kafka vigtig, fundamental viden — central for hvordan Kafka sporer forbrug og muliggør afspilning, og afgørende forbundet til delivery-garantier gennem offset-styring, vigtig for at opbygge pålidelige Kafka-consumere og et kernekoncept i Kafka.