Apakah offset dalam Kafka dan bagaimana ia berfungsi?

Question

Accepted Answer

**Offset** ialah ID unik dan berjujukan untuk setiap event dalam satu partition — menandakan kedudukannya. Consumer menjejak dan commit offset untuk mengetahui apa yang telah mereka gunakan, membolehkan penyambungan semula, replay, dan pemprosesan yang boleh harap.

## Apakah offset

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Bagaimana consumer menggunakan offset

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Pengurusan offset dan semantik penghantaran

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Mengapa ia penting

Memahami offset adalah asas kerana ia merupakan **cara Kafka menjejak kemajuan penggunaan dan membolehkan keupayaan tersendirinya** (penyambungan semula, replay, jaminan penghantaran), jadi ia merupakan pengetahuan Kafka yang penting.

Offset — kedudukan sesuatu event dalam satu partition — adalah pusat kepada cara consumer bekerja dengan Kafka.

Memahami **apakah offset** (ID berjujukan yang menandakan kedudukan setiap event dalam log tersusun partition, dengan event dikekalkan supaya offset kekal sah) merupakan asasnya.

Memahami **bagaimana consumer menggunakan offset** — menjejak offset semasa mereka (tempat mereka telah baca), **commit offset** untuk merekod kemajuan (supaya mereka menyambung semula dari titik yang di-commit semasa restart dan bukannya memproses semula segala-galanya), dan mampu **seek ke sebarang offset untuk replay** event lama atau memproses semula dari satu titik (keupayaan replay tersendiri Kafka), dengan setiap consumer group menjejak offsetnya sendiri secara bebas — adalah perlu untuk memahami cara penggunaan, penyambungan semula, dan replay Kafka berfungsi.

Yang paling penting, memahami **pengurusan offset dan semantik penghantaran** amat penting: **bila dan bagaimana anda commit offset mempengaruhi jaminan penghantaran** — commit selepas pemprosesan memberi **at-least-once** (crash sebelum commit menyebabkan pemprosesan semula/pendua, memerlukan idempotency), commit sebelum memberi **at-most-once** (crash selepas commit tetapi sebelum pemprosesan kehilangan mesej), dan **exactly-once** memerlukan lebih banyak (transaksi, pemprosesan idempotent).

Hubungan antara pengurusan offset dan jaminan penghantaran ini merupakan konsep praktikal utama untuk membina consumer Kafka yang boleh harap.

Memahami auto-commit lwn manual commit (kawalan ke atas jaminan) mencerminkan pengurusan offset yang praktikal.

Memandangkan offset ialah cara Kafka menjejak kemajuan penggunaan dan membolehkan keupayaan tersendirinya (penyambungan semula, replay) sementara pengurusannya menentukan jaminan penghantaran (at-least-once, at-most-once, exactly-once), dan memandangkan memahami offset adalah perlu untuk membina consumer yang boleh harap, memahami offset dalam Kafka merupakan pengetahuan asas yang penting — pusat kepada cara Kafka menjejak penggunaan dan membolehkan replay, dan dihubungkan secara penting dengan jaminan penghantaran melalui pengurusan offset, perlu untuk membina consumer Kafka yang boleh harap dan merupakan konsep teras Kafka.