Quels sont les sémantiques de livraison de Kafka (at-least-once, exactly-once) ?

Question

Accepted Answer

Kafka supporte différentes **garanties de livraison** — **at-most-once**, **at-least-once**, et **exactly-once** — qui déterminent si les messages peuvent être perdus ou dupliqués. Comprendre ces garanties et comment les atteindre est important pour construire des systèmes fiables.

## Les trois sémantiques de livraison

```text
AT-MOST-ONCE → messages may be LOST but never duplicated:
  → commit offset BEFORE processing → if processing fails, the message is skipped (lost)
  → for: when occasional loss is acceptable and duplicates are not (rare)
AT-LEAST-ONCE → messages are never lost but may be DUPLICATED:
  → commit offset AFTER processing → if a crash occurs before commit, the message is
    reprocessed (duplicate) → requires IDEMPOTENT processing
  → the common default; safe (no loss) but handle duplicates
EXACTLY-ONCE → each message is processed exactly once (no loss, no duplicates):
  → the strongest, but hardest; requires Kafka transactions + idempotent producers
```

## Atteindre les garanties

```text
→ AT-LEAST-ONCE → process then commit; make consumers IDEMPOTENT (handle duplicates safely
  via dedup keys, idempotent operations) — practical and common
→ EXACTLY-ONCE → Kafka's transactional API + idempotent producer (enable.idempotence) →
  produce + commit offsets atomically (exactly-once within Kafka, e.g. Kafka Streams)
  ⚠️ exactly-once is complex and has overhead; often AT-LEAST-ONCE + idempotency is simpler
    and sufficient
```

## Conseils pratiques

```text
✓ Most systems use AT-LEAST-ONCE + idempotent processing (simple, reliable)
✓ Use EXACTLY-ONCE when duplicates are truly unacceptable AND idempotency is hard
✓ Producer acks (acks=all) → durability (don't lose on the produce side)
→ understand the trade-offs; design for the guarantee your use case needs
```

## Pourquoi c'est important

Comprendre les sémantiques de livraison de Kafka est précieux car **les garanties de livraison déterminant la fiabilité** (si les messages peuvent être perdus ou dupliqués), donc comprendre celles-ci est important pour construire des systèmes fiables.

Le choix des sémantiques de livraison affecte directement la correction.

Comprendre les **trois sémantiques de livraison** — **at-most-once** (les messages peuvent être perdus mais pas dupliqués, en confirmant le décalage avant le traitement — pour quand la perte occasionnelle est acceptable), **at-least-once** (les messages ne sont jamais perdus mais possiblement dupliqués, en confirmant après le traitement, nécessitant un traitement idempotent — le défaut commun et sûr), et **exactly-once** (chaque message traité exactement une fois, le plus fort mais le plus difficile, nécessitant des transactions et des producteurs idempotents) — est essentiel pour comprendre les compromis de fiabilité.

Comprendre **comment atteindre les garanties** — at-least-once en traitant puis confirmant et en rendant les consommateurs **idempotents** (gérer les doublons via les clés de déduplification et les opérations idempotentes — pratique et courant), et exactly-once via l'API transactionnelle de Kafka et le producteur idempotent (produire et confirmer les décalages atomiquement), avec l'avertissement important que exactly-once est complexe avec surcharge tandis que **at-least-once plus l'idempotence est souvent plus simple et suffisant** — reflète l'approche pratique.

Comprendre les **conseils pratiques** — que la plupart des systèmes utilisent at-least-once plus le traitement idempotent (simple et fiable), utilisant exactly-once seulement quand les doublons sont vraiment inacceptables et l'idempotence est difficile, et utilisant les acks du producteur pour la durabilité — reflète un jugement de conception sain.

L'insight clé est que les sémantiques de livraison impliquent des compromis (perte vs doublons vs complexité), et le choix courant et pratique est at-least-once avec l'idempotence, ce qui se connecte à l'importance plus large de l'idempotence dans les systèmes distribués.

Puisque les garanties de livraison déterminant si les messages peuvent être perdus ou dupliqués (affectant directement la fiabilité) et comprendre les sémantiques, comment les atteindre (particulièrement at-least-once avec l'idempotence comme défaut pratique), et les compromis est important pour construire des systèmes fiables, comprendre les sémantiques de livraison de Kafka est une connaissance Kafka précieuse et pratiquement importante — centrale à la fiabilité, importante pour concevoir des systèmes avec les bonnes garanties (communément at-least-once avec l'idempotence), et reflétant la compréhension nécessaire pour construire des systèmes fiables basés sur Kafka.