Kaj so offseti v Kafki in kako delujejo?

Question

Accepted Answer

**Offset** je enolični, sekvencialni ID za vsak dogodek v particiji — označuje njegovo pozicijo. Potrošniki spremljajo in potrdijo offsete, da vedo, kaj so porabili, kar omogoča nadaljevanje, ponovno predvajanje in zanesljivo obdelavo.

## Kaj so offseti

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Kako potrošniki uporabljajo offsete

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Upravljanje offsetov in semantika dostave

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Zakaj je to važno

Razumevanje offsetov je temeljno, ker so **na ta način Kafka spremlja napredek porabe in omogoča svoje značilne možnosti** (nadaljevanje, ponovno predvajanje, zagotovila dostave), zato je to bistveno znanje Kafke.

Offset — pozicija dogodka v particiji — je osrednja komponenta delovanja potrošnikov s Kafko.

Razumevanje **kaj so offseti** (sekvencialni IDji, ki označujejo pozicijo vsakega dogodka v urejenem dnevniku particije, z dogodki, ki se zadržijo, tako da offseti ostanejo veljavni) je temelj.

Razumevanje **kako potrošniki uporabljajo offsete** — spremljanje svojega trenutnega offseta (do koder so prebrali), **potrditev offsetov** za zapis napredka (da se nadaljevajo z potrjene točke ob ponovnem zagonu namesto ponovnega obdelovanja vsega), in zmožnost **iskanja do kateregakoli offseta za ponovno predvajanje** starih dogodkov ali ponovno obdelovanje od točke (Kafkina značilna zmožnost ponovnega predvajanja), pri čemer vsaka skupina potrošnikov neodvisno spremlja svoje offsete — je bistvenega pomena za razumevanje delovanja porabe Kafke, nadaljevanja in ponovnega predvajanja.
\
Najpomembnije je razumevanje **upravljanja offsetov in semantike dostave** ključno: **kdaj in kako potrdite offsete, vpliva na zagotovila dostave** — potrditev po obdelavi daje **vsaj enkrat** (padec pred potrditvijo povzroči ponovno obdelovanje/podvojitve, kar zahteva idempotentnost), potrditev pred obdelavo daje **največ enkrat** (padec po potrdici vendar pred obdelavo izgubi sporočilo), in **natanko enkrat** zahteva več (transakcije, idempotentna obdelava).

Ta povezava med upravljanjem offsetov in zagotovili dostave je ključni praktični koncept za izgradnjo zanesljivih potrošnikov Kafke.

Razumevanje samodejne potrditve v primerjavi s ročno potrditvijo (nadzor nad zagotovili) odraža praktično upravljanje offsetov.

Ker so offseti način, kako Kafka spremlja napredek porabe in omogoča svoje značilne možnosti (nadaljevanje, ponovno predvajanje), medtem ko njihovo upravljanje določa zagotovila dostave (vsaj enkrat, največ enkrat, natanko enkrat), in ker je razumevanje offsetov bistveno za izgradnjo zanesljivih potrošnikov, je razumevanje offsetov v Kafki bistveno, temeljna znanja — osrednja za to, kako Kafka spremlja porabo in omogoča ponovno predvajanje, ter ključno povezana z zagotovili dostave preko upravljanja offsetov, bistvena za izgradnjo zanesljivih potrošnikov Kafke in temeljni koncept Kafke.