Quais são as armadilhas e erros comuns ao usar Kafka?

Question

Accepted Answer

Kafka é poderoso, mas tem **armadilhas comuns** — incompreensões e erros em torno de particionamento, ordenação, comportamento do consumidor, semântica de entrega e operações. Compreender essas questões ajuda a evitar problemas e usar Kafka corretamente.

## Design e armadilhas de particionamento

```text
✗ Too FEW partitions → limits consumer parallelism (can't scale consumption beyond
  partition count); too MANY → overhead, rebalancing pain → plan partition count carefully
✗ Wrong PARTITION KEY → uneven distribution (hot partitions) or wrong ordering scope →
  choose a key for even distribution AND the ordering you need
✗ Expecting GLOBAL ordering → Kafka only orders WITHIN a partition (a common misunderstanding)
✗ Adding partitions changes key→partition mapping → breaks ordering for keys (be careful)
```

## Armadilhas de consumidor e processamento

```text
✗ Ignoring CONSUMER LAG → consumers falling behind unnoticed → growing delay
✗ Not handling DUPLICATES → at-least-once means duplicates → need idempotent processing
  (a very common mistake — assuming exactly-once without idempotency)
✗ Slow processing blocking the consumer → causes lag/rebalances; long processing → rebalance issues
✗ Frequent REBALANCES → from slow processing/timeouts → consumption pauses (tune, optimize)
✗ Improper offset committing → reprocessing or message loss
```

## Armadilhas operacionais e de uso

```text
✗ Using Kafka where a SIMPLE QUEUE suffices → unneeded complexity (over-engineering)
✗ Ignoring DISK/retention → disk fills up (serious failure)
✗ Under-replication / weak durability config (acks=1) → data loss on failures
✗ No monitoring; treating Kafka as simple (it's a complex distributed system)
✗ Not securing Kafka (open access)
→ understand Kafka's model to avoid these common mistakes
```

## Por que isso importa

Compreender as armadilhas comuns do Kafka é conhecimento valioso de nível sênior porque **reconhecer e evitar erros comuns ajuda a usar Kafka corretamente**, portanto é praticamente importante para uso real do Kafka.

Kafka é poderoso, mas tem muitas armadilhas sutis que causam problemas reais, e conhecê-las ajuda a evitar esses erros.

Compreender **armadilhas de design e particionamento** — muito poucas partições (limitando paralelismo) ou muitas (overhead), chaves de partição erradas (causando hot partitions ou ordenação incorreta), esperar **ordenação global** (um mal-entendido comum, já que Kafka ordena apenas dentro de uma partição), e o problema de que adicionar partições quebra o mapeamento chave-para-partição (afetando ordenação) — ajuda a evitar erros de particionamento e ordenação que são frequentes e consequentes.

Compreender **armadilhas de consumidor e processamento** — ignorar consumer lag (consumidores ficando para trás despercebidos), **não lidar com duplicatas** (um erro muito comum, já que entrega at-least-once significa duplicatas que exigem processamento idempotente — assumir exactly-once sem idempotência é um erro frequente), processamento lento causando lag e rebalanceamentos, rebalanceamentos frequentes e committing de offset impróprio — ajuda a evitar erros do lado do consumidor que causam lag, duplicatas e problemas de reprocessamento.

Compreender **armadilhas operacionais e de uso** — usar Kafka onde uma simples fila é suficiente (over-engineering), ignorar disco/retenção (disco enchendo), configuração fraca de durabilidade (acks=1 arriscando perda de dados), falta de monitoramento e não proteger Kafka — ajuda a evitar erros operacionais e de julgamento.

Conhecer essas armadilhas (especialmente as comuns em torno de mal-entendidos de ordenação, tratamento de duplicatas, consumer lag e uso excessivo do Kafka) ajuda você a usar Kafka corretamente e evitar os problemas reais que pegam muitos usuários.

Essa consciência reflete experiência prática com Kafka.

Já que Kafka tem muitas armadilhas sutis e comuns (mal-entendidos de particionamento/ordenação, tratamento de duplicatas, consumer lag, uso excessivo, erros operacionais) que causam problemas reais, e já que reconhecer e evitá-los ajuda a usar Kafka corretamente, compreender as armadilhas comuns do Kafka é conhecimento valioso de nível sênior — praticamente importante para evitar os erros frequentes (especialmente em torno de ordenação, duplicatas/idempotência, lag e uso apropriado) que pegam usuários de Kafka, refletindo experiência prática, e ajudando a usar Kafka corretamente e confiávelmente em sistemas reais.