Como você escolhe uma estratégia de particionamento no Kafka?

Question

Accepted Answer

Escolher uma **estratégia de particionamento** — como os eventos são distribuídos nas partições de um tópico — é uma decisão importante de design no Kafka que afeta **ordenação, paralelismo e distribuição de carga**. A chave de partição e a contagem devem ser escolhidas com cuidado.

## Como o particionamento funciona

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Escolhendo a chave de partição

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Escolhendo a contagem de partições

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Por que isso importa

Entender como escolher uma estratégia de particionamento é valioso porque é uma **decisão importante de design no Kafka** que afeta ordenação, paralelismo e carga, portanto é relevante para projetar bem os tópicos do Kafka.

O particionamento é central no Kafka, e escolher a estratégia (chave e contagem) afeta significativamente o sistema.

Entender **como o particionamento funciona** — mensagens indo para uma partição baseada na chave (hash da chave, de modo que a mesma chave consistentemente vai para a mesma partição) ou distribuídas round-robin sem uma chave — esclarece o mecanismo.

Entender como **escolher a chave de partição** é a decisão crucial: a chave determina **ordenação** (todos os eventos com a mesma chave indo para a mesma partição e sendo ordenados juntos, por exemplo, particionar por ID de usuário para ordenar os eventos de um usuário) e **distribuição** (chaves precisam se espalhar uniformemente nas partições para carga balanceada), com as armadilhas importantes de chaves de baixa cardinalidade ou enviesadas causando **hot partitions** (sobrecarregadas, um gargalo) e escolher o escopo de ordenação errado.

A orientação de escolher uma chave que fornece a ordenação necessária e distribuição uniforme é a habilidade-chave.

Entender como **escolher a contagem de partições** — mais partições permitindo mais paralelismo de consumidor (throughput) mas com overhead, planejamento para crescimento (já que a contagem de partições é difícil de reduzir e adicionar partições quebra o mapeamento chave-para-partição e assim a ordenação, portanto você dimensiona para escala futura antecipadamente), e dimensionamento aproximado para paralelismo máximo de consumidor — reflete a decisão de contagem que afeta escalabilidade.

Essas decisões de particionamento (chave para ordenação/distribuição, contagem para paralelismo/crescimento) são importantes porque são consequentes e difíceis de mudar depois, afetando diretamente a correção da ordenação, o balanceamento de carga e a escalabilidade.

Como o particionamento é uma decisão central e consequente de design no Kafka (afetando ordenação, paralelismo e carga) que é difícil de mudar depois, e como entender como escolher a chave de partição (para ordenação e distribuição uniforme, evitando hot partitions) e contagem (para paralelismo e crescimento) é importante para projetar tópicos bem, entender como escolher uma estratégia de particionamento é conhecimento Kafka valioso e praticamente relevante — uma decisão de design importante e consequente que afeta ordenação, distribuição de carga e escalabilidade, exigindo escolha cuidadosa de chave de partição e contagem, e central para projetar tópicos Kafka que ordenam corretamente, balanceiam carga e escalam.