Apa itu offset di Kafka dan bagaimana cara kerjanya?

Question

Accepted Answer

**Offset** adalah ID unik dan sekuensial untuk setiap event dalam suatu partisi — menandai posisinya. Consumer melacak dan commit offset untuk mengetahui apa yang telah mereka konsumsi, memungkinkan resume, replay, dan pemrosesan yang dapat diandalkan.

## Apa itu offset

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Bagaimana consumer menggunakan offset

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Manajemen offset dan semantik delivery

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Mengapa ini penting

Memahami offset adalah fundamental karena mereka adalah **cara Kafka melacak kemajuan konsumsi dan memungkinkan kemampuan distinktifnya** (resume, replay, jaminan delivery), jadi ini adalah pengetahuan Kafka yang esensial.

Sebuah offset — posisi suatu event dalam suatu partisi — adalah pusat dari cara consumer bekerja dengan Kafka.

Memahami **apa itu offset** (ID sekuensial yang menandai posisi setiap event dalam log terurut partisi, dengan event dipertahankan sehingga offset tetap valid) adalah fondasi.

Memahami **bagaimana consumer menggunakan offset** — melacak offset saat ini mereka (di mana mereka telah membaca), **commit offset** untuk mencatat kemajuan (sehingga mereka resume dari titik yang di-commit saat restart daripada memproses ulang semuanya), dan mampu **seek ke offset mana pun untuk replay** event lama atau memproses ulang dari suatu titik (kemampuan replay Kafka yang distinktif), dengan setiap consumer group melacak offsetnya sendiri secara independen — adalah esensial untuk memahami bagaimana konsumsi, resumption, dan replay Kafka bekerja.

Yang paling penting, memahami **manajemen offset dan semantik delivery** sangat krusial: **kapan dan bagaimana Anda commit offset mempengaruhi jaminan delivery** — commit setelah pemrosesan memberikan **at-least-once** (crash sebelum commit menyebabkan pemrosesan ulang/duplikat, memerlukan idempotency), commit sebelumnya memberikan **at-most-once** (crash setelah commit tetapi sebelum pemrosesan kehilangan pesan), dan **exactly-once** memerlukan lebih banyak (transaksi, pemrosesan idempotent).

Koneksi ini antara manajemen offset dan jaminan delivery adalah konsep praktis kunci untuk membangun consumer Kafka yang dapat diandalkan.

Memahami auto-commit versus manual commit (kontrol atas jaminan) mencerminkan manajemen offset praktis.

Karena offset adalah cara Kafka melacak kemajuan konsumsi dan memungkinkan kemampuan distinktifnya (resume, replay) sementara manajemen mereka menentukan jaminan delivery (at-least-once, at-most-once, exactly-once), dan karena memahami offset adalah esensial untuk membangun consumer yang dapat diandalkan, memahami offset di Kafka adalah pengetahuan esensial dan fundamental — pusat dari cara Kafka melacak konsumsi dan memungkinkan replay, dan secara krusial terhubung dengan jaminan delivery melalui manajemen offset, esensial untuk membangun consumer Kafka yang dapat diandalkan dan konsep Kafka inti.