¿Cómo funcionan los productores y consumidores en Kafka?

Question

Accepted Answer

**Productores** publican (escriben) eventos en temas de Kafka, y **consumidores** se suscriben a (leen) eventos de ellos. Entender cómo funcionan — incluyendo particionamiento, offsets y grupos de consumidores — es fundamental para usar Kafka.

## Productores — escribiendo eventos

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumidores — leyendo eventos

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Grupos de consumidores (clave para escalar)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Por qué es importante

Entender cómo funcionan los productores y consumidores es fundamental porque son **cómo fluyen los datos dentro y fuera de Kafka**, por lo que es esencial para usar Kafka.

Los productores escriben eventos y los consumidores los leen — el flujo de datos básico.

Entender **productores** — publicar eventos en temas, con la **clave determinando la partición** (la misma clave yendo a la misma partición para ordenamiento, sin clave distribuyendo round-robin), configurar reconocimientos de durabilidad y batching para rendimiento — cubre cómo entran los datos en Kafka.

Entender **consumidores** — leyendo eventos mientras rastrean su **offset** (posición) para reanudar desde donde se detuvieron, leyendo a su propio ritmo ya que los eventos se retienen, siendo capaces de **reproducir** desde cualquier offset y comprometiendo offsets para registrar progreso — cubre cómo se leen los datos, incluyendo la capacidad distintiva de reproducción de Kafka.

Más importante aún, entender **grupos de consumidores** es esencial para el modelo de escalado de Kafka: consumidores trabajando juntos donde **cada partición es consumida por un consumidor en el grupo** (habilitando procesamiento paralelo, escalando agregando consumidores hasta el número de particiones), con **rebalanceo automático** si un consumidor falla (tolerancia a fallos), mientras que **diferentes grupos de consumidores cada uno leen todos los eventos independientemente** (habilitando pub/sub donde múltiples grupos cada uno obtiene el flujo completo).

Este modelo de grupo de consumidores es fundamental para cómo Kafka escala el consumo y soporta patrones tanto similares a colas (dentro de un grupo) como pub/sub (entre grupos).

Ya que los productores y consumidores son cómo fluyen los datos dentro y fuera de Kafka, y ya que entender su funcionamiento — particionamiento, offsets, reproducción y especialmente grupos de consumidores (la clave para escalar y la dualidad cola/pub-sub) — es esencial para usar Kafka, entender cómo funcionan los productores y consumidores es conocimiento fundamental de Kafka esencial — fundamental para el flujo de datos en Kafka, siendo los grupos de consumidores especialmente importantes para entender el modelo de escalado y consumo de Kafka, y necesario para cualquiera que use Kafka.