¿Qué son los offsets en Kafka y cómo funcionan?

Question

Accepted Answer

Un **offset** es un ID único y secuencial para cada evento dentro de una partición, marcando su posición. Los consumidores rastrean y confirman offsets para saber qué han consumido, permitiendo reanudar, reproducir y procesamiento confiable.

## Qué son los offsets

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Cómo los consumidores usan offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Gestión de offsets y semántica de entrega

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Por qué es importante

Comprender los offsets es fundamental porque son **cómo Kafka rastrea el progreso del consumo y habilita sus capacidades distintivas** (reanudar, reproducir, garantías de entrega), por lo que es conocimiento esencial de Kafka.

Un offset —la posición de un evento dentro de una partición— es central en cómo los consumidores trabajan con Kafka.

Comprender **qué son los offsets** (IDs secuenciales que marcan la posición de cada evento en el registro ordenado de una partición, con eventos retenidos para que los offsets sigan siendo válidos) es la base.

Comprender **cómo los consumidores usan los offsets** —rastreando su offset actual (hasta dónde han leído), **confirmando offsets** para registrar el progreso (para que reanuden desde el punto confirmado al reiniciar en lugar de reprocesar todo), y poder **buscar cualquier offset para reproducir** eventos antiguos o reprocesar desde un punto (la capacidad distintiva de reproducción de Kafka), con cada grupo de consumidores rastreando sus propios offsets de forma independiente— es esencial para entender cómo funcionan el consumo, la reanudación y la reproducción en Kafka.

Más importante aún, comprender **la gestión de offsets y la semántica de entrega** es crucial: **cuándo y cómo confirmas offsets afecta las garantías de entrega** —confirmar después del procesamiento da **al-menos-una-vez** (un fallo antes de confirmar causa reprocesamiento/duplicados, requiriendo idempotencia), confirmar antes da **a-lo-sumo-una-vez** (un fallo después de confirmar pero antes del procesamiento pierde el mensaje), y **exactamente-una-vez** requiere más (transacciones, procesamiento idempotente).

Esta conexión entre la gestión de offsets y las garantías de entrega es un concepto práctico clave para construir consumidores Kafka confiables.

Comprender auto-confirm versus confirmación manual (control sobre garantías) refleja la gestión práctica de offsets.

Ya que los offsets son cómo Kafka rastrea el progreso del consumo y habilita sus capacidades distintivas (reanudar, reproducir), mientras que su gestión determina las garantías de entrega (al-menos-una-vez, a-lo-sumo-una-vez, exactamente-una-vez), y como comprender los offsets es esencial para construir consumidores confiables, entender los offsets en Kafka es conocimiento esencial y fundamental —central en cómo Kafka rastrea el consumo y habilita la reproducción, y críticamente conectado a las garantías de entrega a través de la gestión de offsets, esencial para construir consumidores Kafka confiables y un concepto central de Kafka.