Что такое offsets в Kafka и как они работают?

Question

Accepted Answer

**Offset** — это уникальный, последовательный ID для каждого события внутри партиции, обозначающий его позицию. Потребители отслеживают и коммитят offsets, чтобы знать, какие события они обработали, что позволяет им возобновлять работу, воспроизводить события и обеспечивает надежную обработку.

## Что такое offsets

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Как потребители используют offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Управление offsets и семантика доставки

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Почему это важно

Понимание offsets фундаментально, потому что они **определяют, как Kafka отслеживает прогресс потребления и обеспечивает его отличительные возможности** (возобновление работы, воспроизведение событий, гарантии доставки), поэтому это существенные знания о Kafka.

Offset — позиция события внутри партиции — централен для того, как потребители работают с Kafka.

Понимание **что такое offsets** (последовательные ID, обозначающие позицию каждого события в упорядоченном логе партиции, с сохранением событий, чтобы offsets оставались валидными) — это фундамент.

Понимание **как потребители используют offsets** — отслеживание своего текущего offset (до какого события они прочитали), **коммит offsets** для записи прогресса (чтобы они возобновили работу с закоммиченной точки при перезагрузке вместо переобработки всего), и возможность **перемещаться на любой offset для воспроизведения** старых событий или переобработки с определенной точки (отличительная возможность Kafka для воспроизведения), где каждая группа потребителей отслеживает свои offsets независимо — существенно для понимания того, как работают потребление Kafka, возобновление и воспроизведение.

Самое главное — понимание **управление offsets и семантика доставки** критично: **когда и как вы коммитите offsets, влияет на гарантии доставки** — коммит после обработки дает **at-least-once** (крах перед коммитом вызывает переобработку/дубликаты, требуя идемпотентности), коммит перед дает **at-most-once** (крах после коммита, но перед обработкой теряет сообщение), и **exactly-once** требует большего (транзакции, идемпотентная обработка).

Эта связь между управлением offsets и гарантиями доставки — ключевая практическая концепция для построения надежных потребителей Kafka.

Понимание auto-commit в сравнении с manual commit (контроль над гарантиями) отражает практическое управление offsets.

Поскольку offsets — это то, как Kafka отслеживает прогресс потребления и обеспечивает его отличительные возможности (возобновление, воспроизведение), а их управление определяет гарантии доставки (at-least-once, at-most-once, exactly-once), и поскольку понимание offsets существенно для построения надежных потребителей, понимание offsets в Kafka — существенное, фундаментальное знание — центрально для того, как Kafka отслеживает потребление и обеспечивает воспроизведение, и критически связано с гарантиями доставки через управление offsets, существенно для построения надежных потребителей Kafka и является основной концепцией Kafka.