Kafka에서 offset이란 무엇이며 어떻게 작동합니까?

Question

Accepted Answer

**offset**은 partition 내 각 이벤트의 고유한 순차적 ID로, 그 위치를 표시합니다. consumer는 offset을 추적하고 commit하여 무엇을 소비했는지 알며, 이를 통해 재개, 재생, 안정적 처리가 가능해집니다.

## Offset이란

```text
OFFSET → PARTITION 내 이벤트의 위치/ID:
  → 각 partition은 순서가 있는 로그; 이벤트는 증가하는 offset(0, 1, 2, ...)을 받음
  → offset은 partition 내 이벤트의 위치를 고유하게 식별
  → 이벤트가 RETAINED됨 → 로그가 이벤트를 유지(보존 기간 동안 offset 유효)
```

## Consumer가 offset을 사용하는 방식

```text
→ consumer는 이벤트를 순서대로 읽으며 현재 OFFSET(어디까지 읽었는지)을 추적
→ offset COMMIT → "여기까지 처리했다" 기록 → 재시작 시 commit된 offset부터 재개
  (전체를 재처리하지 않음)
→ consumer는 어떤 offset으로든 SEEK 가능 → 과거 이벤트 REPLAY, 건너뛰기, 특정 지점부터 재처리
→ 각 consumer GROUP은 partition별로 자신의 offset을 추적(독립적 진행)
```

## Offset 관리와 전달 의미론

```text
offset을 언제/어떻게 commit하느냐가 전달 보장에 영향:
  → 처리 후 commit → AT-LEAST-ONCE(commit 전 크래시 → 재처리 → 중복; 멱등성 필요)
  → 처리 전 commit → AT-MOST-ONCE(commit 후 처리 전 크래시 → 메시지 유실)
  → EXACTLY-ONCE → 더 많은 것 필요(트랜잭션, 멱등 처리)
→ 자동 commit(주기적) 대 수동 commit(제어) → 필요한 보장에 따라 선택
```

## 왜 중요한가

offset을 이해하는 것은 기본적입니다. offset은 **Kafka가 소비 진행 상황을 추적하고 독특한 기능(재개, 재생, 전달 보장)을 가능하게 하는 방식**이므로 필수적인 Kafka 지식이기 때문입니다.

offset(partition 내 이벤트의 위치)은 consumer가 Kafka와 작업하는 방식의 중심입니다.

**offset이 무엇인지**(partition의 순서 있는 로그에서 각 이벤트의 위치를 표시하는 순차적 ID, 이벤트가 보존되어 offset이 유효함)를 이해하는 것이 기초입니다.

**consumer가 offset을 사용하는 방식**(현재 offset 추적, **offset commit**으로 진행 상황 기록, 어떤 offset으로든 **seek하여 재생**, 각 consumer group이 독립적으로 offset 추적)을 이해하는 것은 Kafka의 소비, 재개, 재생이 어떻게 작동하는지 이해하는 데 필수적입니다.

가장 중요하게, **offset 관리와 전달 의미론**을 이해하는 것이 핵심입니다. offset을 언제 어떻게 commit하느냐가 전달 보장에 영향을 미칩니다 — 처리 후 commit은 **at-least-once**(commit 전 크래시가 재처리/중복을 일으켜 멱등성 필요), 처리 전 commit은 **at-most-once**(commit 후 처리 전 크래시가 메시지를 유실), **exactly-once**는 더 많은 것(트랜잭션, 멱등 처리)을 요구합니다.

offset 관리와 전달 보장 사이의 이 연결은 안정적인 Kafka consumer를 구축하는 핵심적인 실용 개념입니다.

자동 commit 대 수동 commit(보장에 대한 제어)을 이해하는 것은 실용적 offset 관리를 반영합니다.

offset은 Kafka가 소비 진행 상황을 추적하고 독특한 기능(재개, 재생)을 가능하게 하는 방식이며 그 관리가 전달 보장(at-least-once, at-most-once, exactly-once)을 결정하고, offset을 이해하는 것이 안정적 consumer 구축에 필수적이므로, Kafka에서 offset을 이해하는 것은 필수적인 기초 지식입니다.