Što su offseti u Kafki i kako funkcioniraju?

Question

Accepted Answer

**Offset** je jedinstveni, sekvencijalni ID za svaki događaj unutar particije — označava njegovu poziciju. Konzumatori prate i potvrđuju offsete kako bi znali što su konzumirali, omogućavajući nastavak, ponovnu reprodukciju i pouzdanu obradu.

## Što su offseti

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Kako konzumatori koriste offsete

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Upravljanje offsetima i semantika isporuke

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Zašto je to važno

Razumijevanje offseta je temeljno jer su **način na koji Kafka prati napredak konzumacije i omogućuje svoje karakteristične mogućnosti** (nastavak, ponovnu reprodukciju, jamstva isporuke), pa je to ključno znanje o Kafki.

Offset — pozicija događaja unutar particije — centralan je za rad konzumenata s Kafkom.

Razumijevanje **što su offseti** (sekvencijalni ID-evi koji označavaju poziciju svakog događaja u uređenom loggu particije, s događajima koji se čuvaju kako offseti ostaju valjani) je temelj.

Razumijevanje **kako konzumatori koriste offsete** — praćenje njihova trenutnog offseta (gdje su pročitali do), **potvrđivanje offseta** kako bi se zabilježio napredak (kako bi se nastavili od potvrđene točke pri ponovnom pokretanju umjesto da se sve ponovno obradi), i mogućnost **traženja na bilo koji offset kako bi se reproducirali** stari eventi ili ponovno obradili iz točke (karakteristična mogućnost Kafke za reprodukciju), s tim što svaka grupa konzumenata prati svoje offsete nezavisno — ključno je za razumijevanje kako konzumacija u Kafki, nastavak i reprodukcija funkcioniraju.

Najvažnije, razumijevanje **upravljanja offsetima i semantike isporuke** je kritično: **kada i kako potvrđujete offsete utječe na jamstva isporuke** — potvrđivanje nakon obrade daje **barem jednom** (pad prije potvrde uzrokuje ponovno obrađivanje/duplikate, što zahtijeva idempotentu), potvrđivanje prije daje **najviše jednom** (pad nakon potvrde ali prije obrade gubi poruku), a **točno jednom** zahtijeva više (transakcije, idempotentna obrada).

Ova veza između upravljanja offsetima i jamstava isporuke je ključan praktičan koncept za izgradnju pouzdanih Kafka konzumenata.

Razumijevanje auto-potvrde nasuprot ručnoj potvrdi (kontrola nad jamstvima) odražava praktičko upravljanje offsetima.

Budući da su offseti način na koji Kafka prati napredak konzumacije i omogućuje svoje karakteristične mogućnosti (nastavak, reprodukcija), dok njihovo upravljanje određuje jamstva isporuke (barem jednom, najviše jednom, točno jednom), i budući da je razumijevanje offseta ključno za izgradnju pouzdanih konzumenata, razumijevanje offseta u Kafki je ključno, temeljno znanje — centralno kako Kafka prati konzumaciju i omogućuje reprodukciju, i kritično povezano s jamstvima isporuke kroz upravljanje offsetima, ključno za izgradnju pouzdanih Kafka konzumenata i osnovna Kafka koncept.