Quels sont les offsets dans Kafka et comment fonctionnent-ils ?

Question

Accepted Answer

Un **offset** est un identifiant unique et séquentiel pour chaque événement au sein d'une partition — marquant sa position. Les consommateurs suivent et valident les offsets pour savoir ce qu'ils ont consommé, permettant la reprise, la relecture et un traitement fiable.

## Qu'est-ce que les offsets

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Comment les consommateurs utilisent les offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Gestion des offsets et sémantique de livraison

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Pourquoi c'est important

Comprendre les offsets est fondamental car ils sont **la façon dont Kafka suit la progression de la consommation et active ses capacités distinctives** (reprise, relecture, garanties de livraison), c'est donc une connaissance essentielle de Kafka.

Un offset — la position d'un événement au sein d'une partition — est au cœur du fonctionnement des consommateurs avec Kafka.

Comprendre **ce que sont les offsets** (des identifiants séquentiels marquant la position de chaque événement dans le journal ordonné d'une partition, avec des événements conservés afin que les offsets restent valides) est la base.

Comprendre **comment les consommateurs utilisent les offsets** — en suivant leur offset actuel (jusqu'où ils ont lu), **en validant les offsets** pour enregistrer la progression (afin qu'ils reprennent à partir du point validé au redémarrage plutôt que de tout retraiter), et en étant capable de **chercher n'importe quel offset pour relire** les anciens événements ou retraiter à partir d'un point (la capacité de relecture distinctive de Kafka), avec chaque groupe de consommateurs suivant ses propres offsets indépendamment — est essentiel pour comprendre comment la consommation, la reprise et la relecture de Kafka fonctionnent.

Plus important encore, comprendre **la gestion des offsets et la sémantique de livraison** est crucial : **quand et comment vous validez les offsets affecte les garanties de livraison** — valider après le traitement donne **au-moins-une-fois** (un plantage avant la validation cause un retraitement/des doublons, nécessitant l'idempotence), valider avant donne **au-plus-une-fois** (un plantage après la validation mais avant le traitement perd le message), et **exactement-une-fois** nécessite plus (transactions, traitement idempotent).

Cette connexion entre la gestion des offsets et les garanties de livraison est un concept pratique clé pour construire des consommateurs Kafka fiables.

Comprendre la validation automatique par rapport à la validation manuelle (contrôle des garanties) reflète la gestion pratique des offsets.

Comme les offsets sont la façon dont Kafka suit la progression de la consommation et active ses capacités distinctives (reprise, relecture) tandis que leur gestion détermine les garanties de livraison (au-moins-une-fois, au-plus-une-fois, exactement-une-fois), et puisque comprendre les offsets est essentiel pour construire des consommateurs fiables, comprendre les offsets dans Kafka est une connaissance essentielle et fondamentale — centrale à la façon dont Kafka suit la consommation et active la relecture, et cruciale pour les garanties de livraison grâce à la gestion des offsets, essentielle pour construire des consommateurs Kafka fiables et un concept central de Kafka.