¿Cómo produces y consumes mensajes en Kafka (uso básico)?

Question

Accepted Answer

El uso básico de Kafka implica **producir** mensajes a un tema y **consumirlos** — típicamente a través de una biblioteca cliente (Java, Python, etc.). Comprender el flujo básico de producción/consumo es el punto de entrada práctico para usar Kafka.

## Producir mensajes

```js
// using a Kafka client (e.g. KafkaJS for Node)
const producer = kafka.producer();
await producer.connect();
await producer.send({
  topic: 'orders',
  messages: [
    { key: 'user-123', value: JSON.stringify({ orderId: 1, amount: 100 }) },
    // key determines the partition (same key → same partition → ordering)
  ],
});
// → publishes the message to the 'orders' topic
```

## Consumir mensajes

```js
const consumer = kafka.consumer({ groupId: 'order-processors' });   // a consumer GROUP
await consumer.connect();
await consumer.subscribe({ topic: 'orders', fromBeginning: false });
await consumer.run({
  eachMessage: async ({ topic, partition, message }) => {
    const data = JSON.parse(message.value.toString());
    // process the message...
    // offset is auto-committed (or commit manually for control)
  },
});
```

## Puntos prácticos clave

```text
✓ Use a client LIBRARY for your language (Java, KafkaJS, confluent-kafka-python, etc.)
✓ Producers: set a KEY for ordering/partitioning; configure acks for durability
✓ Consumers: use a GROUP ID; the group distributes partitions; commit offsets
✓ Handle SERIALIZATION (JSON, Avro, Protobuf) — often a schema registry for structured data
✓ Handle errors, retries; process idempotently (at-least-once → possible duplicates)
```

## Por qué es importante

Comprender el uso básico de producción/consumo es valioso porque es el **punto de entrada práctico para usar Kafka**, por lo que es conocimiento práctico necesario para trabajar con Kafka.

Saber cómo producir y consumir mensajes es la habilidad fundamental para usar Kafka en aplicaciones.

Comprender **producir mensajes** — conectar un productor y enviar registros (clave, valor) a un tema, con la **clave determinando la partición y el orden** — es la operación de escritura básica.

Comprender **consumir mensajes** — conectar un consumidor con un **ID de grupo**, suscribirse a un tema y procesar mensajes (con offsets confirmados automática o manualmente) — es la operación de lectura básica, siendo el grupo de consumidores cómo escala el consumo.

Comprender los **puntos prácticos clave** — usar una biblioteca cliente para tu lenguaje (Java, KafkaJS, Python, etc.), establecer claves para ordenamiento y configurar acks para durabilidad en productores, usar IDs de grupo y confirmar offsets en consumidores, manejar **serialización** (JSON, Avro, Protobuf, a menudo con un schema registry para datos estructurados), y manejar errores, reintentos e **idempotencia** (ya que entrega al-menos-una-vez significa posibles duplicados) — refleja las consideraciones prácticas para el uso real de Kafka.

Estos puntos prácticos (claves, grupos, serialización, idempotencia) conectan el conocimiento conceptual (particiones, grupos de consumidores, semántica de entrega) al código real.

Ya que producir y consumir mensajes es la habilidad práctica fundamental para usar Kafka en aplicaciones, y ya que comprender el flujo básico y los puntos prácticos (claves, grupos, serialización, idempotencia) es conocimiento práctico necesario, comprender el uso básico de producción/consumo de Kafka es conocimiento valioso y prácticamente relevante — el punto de entrada práctico para usar Kafka, conectando conceptos a código, y necesario para cualquiera que esté construyendo aplicaciones con Kafka.