Kafka 中的 offset 是什么，它们如何工作？

Question

Accepted Answer

**offset** 是 partition 内每个事件的唯一、顺序 ID —— 标记其位置。消费者跟踪和提交 offset，以了解他们已消费的内容，从而实现恢复、重放和可靠处理。

## Offset 是什么

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## 消费者如何使用 offset

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offset 管理和投递语义

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## 为什么这很重要

理解 offset 是基础性的，因为它们是 **Kafka 追踪消费进度和实现其独特能力的方式**（恢复、重放、投递保证），所以这是必须了解的 Kafka 知识。

Offset —— partition 内事件的位置 —— 是消费者与 Kafka 交互方式的核心。

理解 **offset 是什么**（顺序 ID，标记每个事件在 partition 的有序日志中的位置，事件被保留以保持 offset 有效）是基础。

理解 **消费者如何使用 offset** —— 追踪当前 offset（他们读取的位置）、**提交 offset** 来记录进度（这样重启时从提交点恢复而不是重新处理所有内容）、以及能够 **seek 到任何 offset 来重放**旧事件或从某点重新处理（Kafka 的独特重放能力），每个消费者组独立跟踪自己的 offset —— 这对理解 Kafka 消费、恢复和重放的工作方式至关重要。

ost importantly，理解 **offset 管理和投递语义**至关重要：**何时以及如何提交 offset 影响投递保证** —— 处理后提交提供 **至少一次**（崩溃前提交导致重新处理/重复，需要幂等性）、提交前提供 **至多一次**（提交后但处理前崩溃丢失消息）、而 **恰好一次**需要更多（事务、幂等处理）。

Offset 管理与投递保证之间的这种联系是构建可靠 Kafka 消费者的关键实践概念。

自动提交与手动提交的理解（对保证的控制权）反映了实际的 offset 管理。

由于 offset 是 Kafka 追踪消费进度和实现其独特能力（恢复、重放）的方式，而它们的管理决定了投递保证（至少一次、至多一次、恰好一次），而理解 offset 对构建可靠消费者至关重要，理解 Kafka 中的 offset 是基础性的、必须掌握的知识 —— 是 Kafka 追踪消费和实现重放的核心，并通过 offset 管理与投递保证紧密相连，对构建可靠 Kafka 消费者至关重要，是 Kafka 的核心概念。