O que são offsets no Kafka e como funcionam?

Question

Accepted Answer

Um **offset** é um ID único e sequencial para cada evento dentro de uma partição — marcando sua posição. Consumidores rastreiam e confirmam offsets para saber o que consumiram, permitindo retomar, reproduzir e processar de forma confiável.

## O que são offsets

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Como consumidores usam offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Gerenciamento de offsets e semântica de entrega

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Por que isso importa

Compreender offsets é fundamental porque eles são **como o Kafka rastreia o progresso do consumo e habilita suas capacidades distintivas** (retomar, reproduzir, garantias de entrega), portanto é conhecimento essencial do Kafka.

Um offset — a posição de um evento dentro de uma partição — é central para como consumidores trabalham com Kafka.

Compreender **o que são offsets** (IDs sequenciais marcando a posição de cada evento no log ordenado de uma partição, com eventos retidos para que offsets permaneçam válidos) é a base.

Compreender **como consumidores usam offsets** — rastreando seu offset atual (até onde leram), **confirmando offsets** para registrar progresso (para que retomem do ponto confirmado ao reiniciar, em vez de reprocessar tudo), e ser capaz de **procurar qualquer offset para reproduzir** eventos antigos ou reprocessar a partir de um ponto (capacidade distintiva de reprodução do Kafka), com cada grupo de consumidores rastreando seus próprios offsets independentemente — é essencial para entender como consumo, retomada e reprodução do Kafka funcionam.

Mais importante ainda, compreender **gerenciamento de offsets e semântica de entrega** é crucial: **quando e como você confirma offsets afeta garantias de entrega** — confirmar após processar oferece **at-least-once** (um crash antes da confirmação causa reprocessamento/duplicatas, exigindo idempotência), confirmar antes oferece **at-most-once** (um crash após confirmação mas antes do processamento perde a mensagem), e **exactly-once** exige mais (transações, processamento idempotente).

Esta conexão entre gerenciamento de offsets e garantias de entrega é um conceito prático chave para construir consumidores Kafka confiáveis.

Compreender auto-commit versus confirmação manual (controle sobre garantias) reflete gerenciamento prático de offsets.

Como offsets são como o Kafka rastreia o progresso de consumo e habilita suas capacidades distintivas (retomar, reproduzir) enquanto seu gerenciamento determina garantias de entrega (at-least-once, at-most-once, exactly-once), e como compreender offsets é essencial para construir consumidores confiáveis, entender offsets no Kafka é conhecimento essencial e fundamental — central para como o Kafka rastreia o consumo e habilita reprodução, e crucialmente conectado a garantias de entrega através do gerenciamento de offsets, essencial para construir consumidores Kafka confiáveis e um conceito central do Kafka.