¿Cuáles son las semánticas de entrega de Kafka (al-menos-una-vez, exactamente-una-vez)?

Question

Accepted Answer

Kafka soporta diferentes **garantías de entrega** — **como-mucho-una-vez**, **al-menos-una-vez** y **exactamente-una-vez** — que determinan si los mensajes pueden perderse o duplicarse. Entender estas garantías y cómo lograrlas es importante para construir sistemas confiables.

## Las tres semánticas de entrega

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Lograr las garantías

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## Orientación práctica

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## Por qué es importante

Entender las semánticas de entrega de Kafka es valioso porque **las garantías de entrega determinan la confiabilidad** (si los mensajes pueden perderse o duplicarse), por lo que comprenderlas es importante para construir sistemas confiables.

La elección de las semánticas de entrega afecta directamente la exactitud.

Entender las **tres semánticas de entrega** — **como-mucho-una-vez** (los mensajes pueden perderse pero no duplicarse, comprometiendo el offset antes de procesar — para cuando la pérdida ocasional es aceptable), **al-menos-una-vez** (los mensajes nunca se pierden pero posiblemente se duplican, comprometiendo después de procesar, requiriendo procesamiento idempotente — el estándar común y seguro por defecto), y **exactamente-una-vez** (cada mensaje se procesa exactamente una vez, el más fuerte pero más difícil, requiriendo transacciones y productores idempotentes) — es esencial para entender los compromisos de confiabilidad.

Entender **cómo lograr las garantías** — al-menos-una-vez procesando luego comprometiendo e haciendo que los consumidores sean **idempotentes** (manejando duplicados mediante claves de deduplicación y operaciones idempotentes — práctico y común), y exactamente-una-vez mediante la API transaccional de Kafka y productores idempotentes (produciendo y comprometiendo offsets atómicamente), con la salvedad importante de que exactamente-una-vez es complejo con sobrecarga mientras que **al-menos-una-vez más idempotencia es a menudo más simple y suficiente** — refleja el enfoque práctico.

Entender la **orientación práctica** — que la mayoría de los sistemas usan al-menos-una-vez más procesamiento idempotente (simple y confiable), usando exactamente-una-vez solo cuando los duplicados son realmente inaceptables e idempotencia es difícil, y usando acks de productor para durabilidad — refleja un buen criterio de diseño.

La idea clave es que las semánticas de entrega implican compromisos (pérdida vs duplicados vs complejidad), y la elección común y práctica es al-menos-una-vez con idempotencia, lo que se conecta con la importancia más amplia de la idempotencia en sistemas distribuidos.

Ya que las garantías de entrega determinan si los mensajes pueden perderse o duplicarse (afectando directamente la confiabilidad) y entender las semánticas, cómo lograrlas (especialmente al-menos-una-vez con idempotencia como el estándar práctico por defecto), y los compromisos es importante para construir sistemas confiables, entender las semánticas de entrega de Kafka es conocimiento valioso y prácticamente importante de Kafka — central para la confiabilidad, importante para diseñar sistemas con las garantías correctas (comúnmente al-menos-una-vez con idempotencia), y reflejando la comprensión necesaria para construir sistemas confiables basados en Kafka.