Offset — это уникальный, последовательный ID для каждого события внутри партиции, обозначающий его позицию. Потребители отслеживают и коммитят offsets, чтобы знать, какие события они обработали, что позволяет им возобновлять работу, воспроизводить события и обеспечивает надежную обработку.
Что такое offsets
OFFSET → the position/ID of an event within a PARTITION:
→ each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
→ an offset uniquely identifies an event's position in its partition
→ events are RETAINED → the log keeps events (offsets remain valid for the retention period)
Как потребители используют offsets
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
