Comment choisir une stratégie de partitioning dans Kafka ?

Question

Accepted Answer

Choisir une **stratégie de partitioning** — comment les événements sont distribués sur les partitions d'un topic — est une décision de conception Kafka importante affectant **l'ordonnancement, le parallélisme et la distribution de charge**. La clé de partition et le nombre de partitions doivent être choisis avec soin.

## Comment fonctionne le partitioning

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## Choisir la clé de partition

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## Choisir le nombre de partitions

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## Pourquoi c'est important

Comprendre comment choisir une stratégie de partitioning est précieux car c'est une **décision de conception Kafka importante** affectant l'ordonnancement, le parallélisme et la charge, donc c'est pertinent pour concevoir correctement les topics Kafka.

Le partitioning est central à Kafka, et choisir la stratégie (clé et nombre) affecte significativement le système.

Comprendre **comment fonctionne le partitioning** — les messages allant à une partition en fonction de la clé (hash de la clé, donc la même clé va toujours à la même partition) ou distribués en round-robin sans clé — clarifie le mécanisme.

Comprendre comment **choisir la clé de partition** est la décision cruciale : la clé détermine l'**ordonnancement** (tous les événements avec la même clé allant à la même partition et étant ordonnés ensemble, par exemple en utilisant l'ID utilisateur pour ordonner les événements d'un utilisateur) et la **distribution** (les clés devant être distribuées uniformément sur les partitions pour une charge équilibrée), avec les pièges importants des clés à faible cardinalité ou asymétriques causant des **partitions chaudes** (surchargées, un goulot d'étranglement) et le mauvais choix de portée d'ordonnancement.

L'orientation à choisir une clé fournissant l'ordonnancement et la distribution nécessaires est la compétence clé.

Comprendre comment **choisir le nombre de partitions** — plus de partitions permettant plus de parallélisme des consumers (débit) mais avec des frais généraux, planifier la croissance (puisque le nombre de partitions est difficile à réduire et l'ajout de partitions casse le mapping clé-partition et donc l'ordonnancement, donc vous dimensionnez pour l'échelle future à l'avance), et dimensionner grossièrement pour le parallélisme maximal des consumers — reflète la décision du nombre qui affecte la scalabilité.

Ces décisions de partitioning (clé pour l'ordonnancement/distribution, nombre pour le parallélisme/croissance) sont importantes car elles sont conséquentes et difficiles à changer plus tard, affectant directement la correction de l'ordonnancement, l'équilibre de charge et la scalabilité.

Puisque le partitioning est une décision de conception Kafka centrale et conséquente (affectant l'ordonnancement, le parallélisme et la charge) qui est difficile à changer plus tard, et puisque comprendre comment choisir la clé de partition (pour l'ordonnancement et la distribution uniforme, éviter les partitions chaudes) et le nombre (pour le parallélisme et la croissance) est important pour concevoir correctement les topics, comprendre comment choisir une stratégie de partitioning est une connaissance Kafka précieuse et pratiquement pertinente — une décision de conception importante et conséquente affectant l'ordonnancement, la distribution de charge et la scalabilité, nécessitant un choix attentif de la clé de partition et du nombre, et centrale pour concevoir des topics Kafka qui ordonnent correctement, équilibrent la charge et se mettent à l'échelle.