Hva er offsets i Kafka og hvordan fungerer de?

Question

Accepted Answer

En **offset** er en unik, sekvensiell ID for hver event innenfor en partisjon — som markerer dens posisjon. Consumere sporer og committer offsets for å vite hva de har konsumert, noe som muliggjør gjenopptaking, replay og pålitelig behandling.

## Hva offsets er

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Hvordan consumere bruker offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset-håndtering og leveringssemantikk

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Hvorfor det er viktig

Å forstå offsets er grunnleggende fordi de er **hvordan Kafka sporer konsumpsjonsprogresjon og muliggjør sine karakteristiske kapabiliteter** (gjenopptaking, replay, leveringsgarantier), så det er essensiell Kafka-kunnskap.

En offset — posisjonen til en event innenfor en partisjon — er sentral for hvordan consumere fungerer med Kafka.

Å forstå **hva offsets er** (sekvensiell IDs som markerer hver events posisjon i en partisjons ordnede logg, med events beholdt slik at offsets forblir gyldige) er grunnlaget.

Å forstå **hvordan consumere bruker offsets** — sporing av deres nåværende offset (hvor de har lest til), **committing av offsets** for å registrere progresjon (slik at de gjenopptaker fra det committed punktet ved omstart i stedet for å rebehandle alt), og muligheten til å **søke til en hvilken som helst offset for å replay** gamle events eller rebehandle fra et punkt (Kafkas karakteristiske replay-kapabilitet), med hver consumergruppe som sporer sine egne offsets uavhengig — er essensiell for å forstå hvordan Kafka-konsum, gjenopptaking og replay fungerer.

Mest viktig er det å forstå **offset-håndtering og leveringssemantikk** er kritisk: **når og hvordan du committer offsets påvirker leveringsgarantier** — committing etter behandling gir **minst-én-gang** (et krasj før commit forårsaker ombehandling/duplikater, som krever idempotens), committing før gir **høyst-én-gang** (et krasj etter commit men før behandling mister meldingen), og **nøyaktig-én-gang** krever mer (transaksjoner, idempotent behandling).

Denne forbindelsen mellom offset-håndtering og leveringsgarantier er et nøkkelpraktisk konsept for å bygge pålitelige Kafka-consumere.

Å forstå auto-commit vs manuell commit (kontroll over garantier) reflekterer praktisk offset-håndtering.

Siden offsets er hvordan Kafka sporer konsumpsjonsprogresjon og muliggjør sine karakteristiske kapabiliteter (gjenopptaking, replay) mens deres håndtering bestemmer leveringsgarantier (minst-én-gang, høyst-én-gang, nøyaktig-én-gang), og siden å forstå offsets er essensiell for å bygge pålitelige consumere, er forståelsen av offsets i Kafka essensiell, grunnleggende kunnskap — sentral for hvordan Kafka sporer konsum og muliggjør replay, og kritisk koblet til leveringsgarantier gjennom offset-håndtering, essensiell for å bygge pålitelige Kafka-consumere og et kjernekonsept for Kafka.