Comment fonctionne le tri des messages dans Kafka ?

Question

Accepted Answer

Kafka garantit **le tri au sein d'une partition** mais **pas entre les partitions** — un concept crucial. Pour obtenir le tri des événements associés, vous les routez vers la même partition (via la même clé). Comprendre le tri est important pour la correction.

## Tri par partition

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## Obtenir le tri pour les événements associés

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## Compromis et considérations

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## Pourquoi c'est important

Comprendre le tri des messages dans Kafka est précieux car **le tri est un concept fondamental de Kafka, souvent mal compris** et important pour la correction, c'est donc une connaissance essentielle.

La garantie de tri de Kafka est spécifique et cruciale à comprendre.

Comprendre le **tri par partition** — que Kafka garantisse l'ordre **au sein d'une partition** (les événements strictement ordonnés par offset, lus dans l'ordre) mais **pas entre les partitions** (les événements dans différentes partitions n'ayant pas d'ordre relatif, traités en parallèle) — est une propriété fondamentale de Kafka et une **source courante de malentendu** (les gens supposent souvent à tort un tri global), donc le comprendre correctement est essentiel pour la correction.

Comprendre comment **obtenir le tri pour les événements associés** — les envoyer à la même partition en utilisant la **même clé** (de sorte que les événements associés, comme tous les événements d'une commande ou d'un utilisateur spécifique, clés par cette entité, vont à la même partition et restent ordonnés) — est la technique pratique clé pour obtenir la correction du tri que les applications nécessitent (tri par entité via la clé).

Comprendre les **compromis et considérations** — que le tri au sein d'une clé/partition **limite le parallélisme** pour cette clé (tous les événements d'une clé traités par un consommateur dans l'ordre), que quelques choses cassent le tri (les tentatives du producteur sans idempotence et max.in.flight=1, l'ajout de partitions changeant la cartographie des clés), et que vous devriez utiliser aucune clé quand le tri n'est pas nécessaire (pour le parallélisme maximal) mais utiliser une clé correctement quand c'est nécessaire (en acceptant la portée du parallélisme) — reflète la compréhension nuancée nécessaire pour concevoir un tri correct tout en équilibrant le parallélisme.

Cette connaissance du tri est importante car se tromper (supposer un tri global, ou ne pas clé les événements qui ont besoin de tri) cause des bugs de correction réels.

Comme le tri est un concept fondamental de Kafka, souvent mal compris (par partition seulement, nécessitant des clés pour le tri des événements associés) et important pour la correction, et comme comprendre la garantie, comment obtenir le tri via les clés, et les compromis (tri vs parallélisme) est essentiel, comprendre le tri des messages dans Kafka est une connaissance Kafka précieuse et essentielle — un concept fondamental, souvent mal compris et crucial pour la correction, où comprendre le tri par partition et le routage basé sur les clés pour les événements associés (et le compromis de parallélisme) est nécessaire pour concevoir des systèmes Kafka qui trient correctement les événements, un concept clé que chaque utilisateur de Kafka doit comprendre avec précision.