Vad är offsets i Kafka och hur fungerar de?

Question

Accepted Answer

En **offset** är ett unikt, sekventiellt ID för varje event inom en partition — som markerar dess position. Konsumenter spårar och committar offsets för att veta vad de har konsumerat, vilket möjliggör att återuppta, spela upp och bearbeta på ett tillförlitligt sätt.

## Vad offsets är

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Hur konsumenter använder offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset-hantering och delivery-semantik

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Varför det är viktigt

Att förstå offsets är grundläggande eftersom de är **hur Kafka spårar konsumtionsförloppet och möjliggör dess unika kapaciteter** (återuppta, spela upp, leveransgarantier), så det är väsentlig Kafka-kunskap.

En offset — positionen för ett event inom en partition — är central för hur konsumenter arbetar med Kafka.

Att förstå **vad offsets är** (sekventiella ID:n som markerar varje events position i en partitions ordnade logg, med events som bibehålls så offsets förblir giltiga) är grundvalen.

Att förstå **hur konsumenter använder offsets** — spåra sin nuvarande offset (var de har läst till), **committa offsets** för att registrera förloppet (så de återupptar från den committade punkten vid omstart i stället för att bearbeta allt på nytt), och kunna **söka till någon offset för att spela upp** gamla events eller bearbeta från en punkt (Kafkas unika uppspelningskapacitet), med varje konsumentgrupp som spårar sina egna offsets oberoende — är väsentligt för att förstå hur Kafka-konsumtion, återupptag och uppspelning fungerar.

Viktigast är att förstå **offset-hantering och delivery-semantik** är avgörande: **när och hur du committar offsets påverkar leveransgarantier** — att commita efter bearbetning ger **at-least-once** (en krasch före commit orsakar återbearbetning/duplikat, vilket kräver idempotens), att commita före ger **at-most-once** (en krasch efter commit men före bearbetning förlorar meddelandet), och **exactly-once** kräver mer (transaktioner, idempotent bearbetning).

Denna koppling mellan offset-hantering och leveransgarantier är ett nyckelkoncept för att bygga tillförlitliga Kafka-konsumenter.

Att förstå auto-commit kontra manuell commit (kontroll över garantier) återspeglar praktisk offset-hantering.

Därför att offsets är hur Kafka spårar konsumtionsförloppet och möjliggör dess unika kapaciteter (återuppta, spela upp) medan deras hantering bestämmer leveransgarantier (at-least-once, at-most-once, exactly-once), och eftersom att förstå offsets är väsentligt för att bygga tillförlitliga konsumenter, är förståelse för offsets i Kafka väsentlig, grundläggande kunskap — central för hur Kafka spårar konsumtion och möjliggör uppspelning, och avgörande kopplad till leveransgarantier genom offset-hantering, väsentlig för att bygga tillförlitliga Kafka-konsumenter och ett kärnkoncept i Kafka.