Como funciona a ordenação de mensagens no Kafka?

Question

Accepted Answer

Kafka garante **ordenação dentro de uma partição**, mas **não entre partições** — um conceito crucial. Para obter ordenação de eventos relacionados, você os roteia para a mesma partição (via a mesma chave). Compreender ordenação é importante para a correção.

## Ordenação por partição

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## Obtendo ordenação para eventos relacionados

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## Trade-offs e considerações

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## Por que isso importa

Compreender a ordenação de mensagens no Kafka é valioso porque **ordenação é um conceito fundamental do Kafka, comumente mal entendido** e importante para a correção, portanto é conhecimento essencial.

A garantia de ordenação do Kafka é específica e crucial de se entender.

Compreender **ordenação por partição** — que Kafka garante ordem **dentro de uma partição** (eventos estritamente ordenados por offset, lidos em ordem) mas **não entre partições** (eventos em diferentes partições sem ordem relativa, processados em paralelo) — é uma propriedade fundamental do Kafka e uma **fonte comum de mal-entendido** (as pessoas frequentemente assumem incorretamente ordenação global), portanto entender corretamente é essencial para a correção.

Compreender como **obter ordenação para eventos relacionados** — enviando-os para a mesma partição usando a **mesma chave** (para que eventos relacionados, como todos os eventos de um pedido específico ou usuário, com chave por essa entidade, vão para a mesma partição e permaneçam ordenados) — é a técnica prática-chave para alcançar a correção de ordenação que as aplicações precisam (ordenação por entidade via chaveamento).

Compreender os **trade-offs e considerações** — que ordenação dentro de uma chave/partição **limita o paralelismo** para essa chave (todos os eventos de uma chave processados por um consumidor em ordem), que algumas coisas quebram a ordenação (retentativas do produtor sem idempotência e max.in.flight=1, adição de partições alterando mapeamento de chaves), e que você deve usar sem chave quando ordenação não é necessária (para máximo paralelismo) mas usar chaves apropriadamente quando é (aceitando o escopo de paralelismo) — reflete a compreensão matizada necessária para projetar ordenação correta equilibrando paralelismo.

Esse conhecimento de ordenação é importante porque entender errado (assumir ordenação global, ou não usar chaves para eventos que precisam de ordenação) causa bugs reais de correção.

Como ordenação é um conceito fundamental do Kafka, comumente mal entendido (apenas por partição, exigindo chaves para ordenação de eventos relacionados) e importante para a correção, e como compreender a garantia, como alcançar ordenação via chaves, e os trade-offs (ordenação vs paralelismo) é essencial, compreender ordenação de mensagens no Kafka é conhecimento valioso e essencial do Kafka — um conceito fundamental, frequentemente mal entendido e crucial para a correção, onde compreender ordenação por partição e roteamento baseado em chaves para eventos relacionados (e o trade-off de paralelismo) é necessário para projetar sistemas Kafka que ordenem eventos corretamente, um conceito-chave que todo usuário de Kafka deve entender com precisão.