Como funcionam produtores e consumidores no Kafka?

Question

Accepted Answer

**Produtores** publicam (escrevem) eventos em tópicos Kafka, e **consumidores** se inscrevem em (leem) eventos deles. Entender como funcionam — incluindo particionamento, offsets e grupos de consumidores — é fundamental para usar Kafka.

## Produtores — escrevendo eventos

```text
PRODUCERS publish events to TOPICS:
  → send a record (key, value) to a topic
  → the key determines the PARTITION (same key → same partition → ordering for that key);
    no key → distributed (round-robin)
  → can configure ACKNOWLEDGMENTS (acks) for durability (wait for replicas to confirm)
  → batching, compression for throughput
```

## Consumidores — lendo eventos

```text
CONSUMERS subscribe to topics and read events:
  → read from partitions, tracking their OFFSET (position) → resume from where they left off
  → read at their OWN PACE (events are retained); can re-read (replay) from any offset
  → COMMIT offsets to record progress (so they don't reprocess on restart)
```

## Grupos de consumidores (chave para escalonamento)

```text
CONSUMER GROUP → consumers working together to consume a topic:
  → each partition is consumed by ONE consumer in the group → parallel processing
    (distribute partitions across the group's consumers)
  → add consumers (up to the partition count) to scale consumption
  → if a consumer fails, its partitions are REBALANCED to others (fault tolerance)
DIFFERENT GROUPS → each group reads ALL the events independently (pub/sub: many groups
  each get the full stream)
```

## Por que isso importa

Entender como produtores e consumidores funcionam é fundamental porque eles são **como os dados fluem para dentro e para fora do Kafka**, então é essencial para usar Kafka.

Produtores escrevem eventos e consumidores os leem — o fluxo de dados básico.

Entender **produtores** — publicando eventos em tópicos, com a **chave determinando a partição** (a mesma chave indo para a mesma partição para ordenação, nenhuma chave distribuindo round-robin), configurando reconhecimentos para durabilidade e batching para throughput — cobre como os dados entram no Kafka.

Entender **consumidores** — lendo eventos enquanto rastreiam seu **offset** (posição) para retomar de onde pararam, lendo em seu próprio ritmo, já que os eventos são retidos, sendo capazes de **reproduzir** a partir de qualquer offset, e confirmando offsets para registrar progresso — cobre como os dados são lidos, incluindo a capacidade distintiva de replay do Kafka.

Mais importante, entender **grupos de consumidores** é essencial para o modelo de escalonamento do Kafka: consumidores trabalhando juntos onde **cada partição é consumida por um consumidor no grupo** (permitindo processamento paralelo, escalonamento adicionando consumidores até a contagem de partições), com **rebalanceamento** automático se um consumidor falhar (tolerância a falhas), enquanto **grupos de consumidores diferentes leem todos os eventos independentemente** (permitindo pub/sub onde múltiplos grupos cada um obtém o fluxo completo).

Este modelo de grupo de consumidores é fundamental para como o Kafka escala o consumo e suporta padrões tanto semelhantes a filas (dentro de um grupo) quanto pub/sub (entre grupos).

Como produtores e consumidores são como os dados fluem para dentro e para fora do Kafka, e como entender seu funcionamento — particionamento, offsets, replay, e especialmente grupos de consumidores (a chave para escalonamento e a dualidade fila/pub-sub) — é essencial para usar Kafka, entender como produtores e consumidores funcionam é conhecimento fundamental do Kafka — fundamental para o fluxo de dados no Kafka, com grupos de consumidores sendo especialmente importantes para entender o escalonamento do Kafka e o modelo de consumo, e necessário para qualquer pessoa usando Kafka.