Quali sono gli offset in Kafka e come funzionano?

Question

Accepted Answer

Un **offset** è un ID univoco e sequenziale per ogni evento all'interno di una partizione — ne marca la posizione. I consumatori tracciano e committano gli offset per sapere cosa hanno consumato, abilitando la ripresa, la replay e l'elaborazione affidabile.

## Cosa sono gli offset

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Come i consumatori usano gli offset

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Gestione degli offset e semantica di consegna

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Perché è importante

Comprendere gli offset è fondamentale perché sono **come Kafka traccia il progresso dei consumi e abilita le sue capacità distintive** (ripresa, replay, garanzie di consegna), quindi è conoscenza essenziale di Kafka.

Un offset — la posizione di un evento all'interno di una partizione — è centrale per come i consumatori lavorano con Kafka.

Comprendere **cosa sono gli offset** (ID sequenziali che marcano la posizione di ogni evento nel log ordinato di una partizione, con eventi trattenuti in modo che gli offset rimangono validi) è la base.

Comprendere **come i consumatori usano gli offset** — tracciare il loro offset attuale (dove hanno letto fino a), **committare gli offset** per registrare il progresso (così riprendono dal punto committato al riavvio anziché rielaborare tutto), e essere in grado di **cercare qualsiasi offset per riprodurre** eventi vecchi o rielaborare da un punto (la capacità di replay distintiva di Kafka), con ogni gruppo di consumatori che traccia i propri offset indipendentemente — è essenziale per comprendere come funzionano i consumi, la ripresa e la replay di Kafka.

Più importante ancora, comprendere **la gestione degli offset e la semantica di consegna** è cruciale: **quando e come committate gli offset influisce sulle garanzie di consegna** — committare dopo l'elaborazione dà **at-least-once** (un crash prima del commit causa rielaborazione/duplicati, richiedendo idempotenza), committare prima dà **at-most-once** (un crash dopo il commit ma prima dell'elaborazione perde il messaggio), e **exactly-once** richiede di più (transazioni, elaborazione idempotente).

Questa connessione tra la gestione degli offset e le garanzie di consegna è un concetto pratico fondamentale per costruire consumatori Kafka affidabili.

Comprendere auto-commit vs manual commit (controllo sulle garanzie) riflette la gestione pratica degli offset.

Poiché gli offset sono come Kafka traccia il progresso dei consumi e abilita le sue capacità distintive (ripresa, replay) mentre la loro gestione determina le garanzie di consegna (at-least-once, at-most-once, exactly-once), e poiché comprendere gli offset è essenziale per costruire consumatori affidabili, comprendere gli offset in Kafka è conoscenza essenziale e fondamentale — centrale per come Kafka traccia i consumi e abilita la replay, e crucialmente connessa alle garanzie di consegna attraverso la gestione degli offset, essenziale per costruire consumatori Kafka affidabili e un concetto fondamentale di Kafka.