Mik azok az offsetek a Kafkában és hogyan működnek?

Question

Accepted Answer

Az **offset** egy egyedi, szekvenciális azonosító az egyes eseményekhez egy partícióban — jelölve az azok pozícióját. A fogyasztók követik és commitálják az offseteket, hogy tudják, mit fogyasztottak el, lehetővé téve az újraindítást, a visszajátszást és a megbízható feldolgozást.

## Mi azok az offsetek

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Hogyan használják a fogyasztók az offseteket

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset-kezelés és szállítási szemantika

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Miért fontos

Az offsetek megértése alapvető, mert ezek az **a módja annak, ahogyan a Kafka nyomon követi a fogyasztási előrehaladást és lehetővé teszi jellegzetes képességeit** (újraindítás, visszajátszás, szállítási garanciák), ezért alapvető Kafka-tudás.

Az offset — az esemény pozíciója egy partícióban — központi szerepet játszik abban, hogyan működnek a fogyasztók a Kafkával.

Az **offsetek megértése** (szekvenciális azonosítók, amelyek az egyes események pozícióját jelölik egy partíció rendezett naplójában, az események megőrzésével, hogy az offsetek érvényesek maradjanak) az alapja.

A **fogyasztók offsethasználatának megértése** — az aktuális offset követése (hol olvastak eddig), **offsetek commitálása** az előrehaladás rögzítésére (hogy az újraindításnál az elkötelezetett pontból folytassanak ahelyett, hogy mindent újrafeldolgoznának), és **bármely offsetbe való keresés** régi események visszajátszásához vagy egy pontból való újrafeldolgozásához (a Kafka jellegzetes visszajátszási képessége), ahol minden fogyasztócsoport egymástól függetlenül követi saját offsetjeit — alapvető annak megértéséhez, hogy a Kafka-fogyasztás, az újraindítás és a visszajátszás hogyan működik.

A legfontosabb a **offset-kezelés és szállítási szemantika** megértése: **az offsetek commitálásának időzítése és módja befolyásolja a szállítási garanciákat** — a feldolgozás után történő commitálás **legalább egyszer** biztosít (az összeomlás a commit előtt az újrafeldolgozást/duplikátumokat okozza, megkövetelve az idempotenciát), az előtte történő commitálás **legfeljebb egyszer** biztosít (az összeomlás a commit után, de a feldolgozás előtt elveszti az üzenetet), és a **pontosan egyszer** többet igényel (tranzakciók, idempotens feldolgozás).

Ez a kapcsolat az offset-kezelés és a szállítási garanciák között a megbízható Kafka-fogyasztók létrehozásához szükséges kulcskoncepcio.

Az auto-commit vs manuális commit megértése (kontroll a garanciák felett) tükrözi a gyakorlati offset-kezelést.

Mivel az offsetek azzal használatosak, hogy a Kafka nyomon követi a fogyasztási előrehaladást és lehetővé teszi jellegzetes képességeit (újraindítás, visszajátszás), miközben azok kezelése meghatározza a szállítási garanciákat (legalább egyszer, legfeljebb egyszer, pontosan egyszer), és mivel az offsetek megértése alapvető a megbízható fogyasztók létrehozásához, az offsetek megértése a Kafkában alapvető, alapvetõ tudás — központi abban, hogyan követi nyomon a Kafka a fogyasztást és teszi lehetővé a visszajátszást, és kritikusan kapcsolódik a szállítási garanciákhoz az offset-kezelésen keresztül, alapvető a megbízható Kafka-fogyasztók létrehozásához és a Kafka alapkonceptiója.