Kas yra poslinkiai (offsets) Kafka sistemoje ir kaip jie veikia?

Question

Accepted Answer

**Poslinkis (offset)** yra unikalus, sekinis ID kiekvienam įvykiui skaidinio ribose — žymi jo poziciją. Vartotojai seka ir patvirtina poslinkius, norėdami žinoti, ką jie sunaudojo, suteikdami galimybę tęsti, pakartoti ir patikimai apdoroti.

## Kas yra poslinkiai

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Kaip vartotojai naudoja poslinkius

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Poslinkio valdymas ir pristatymo semantika

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Kodėl tai svarbu

Suprasti poslinkius yra esminė žinoti, nes jie yra **kaip Kafka seka vartojimo progresą ir suteikia jos išskirtines galimybes** (tęsimas, pakartojimai, pristatymo garantijos), todėl tai yra esminė Kafka žinios.

Poslinkis — įvykio pozicija skaidinio ribose — yra centrinis vartotojų darbo su Kafka elementas.

Suprasti **ką poslinkiai yra** (sekiniai ID, žymintys kiekvieno įvykio poziciją skaidinio sąraše, kai įvykiai saugomi, todėl poslinkiai lieka galiojantys) yra pagrindas.

Suprasti **kaip vartotojai naudoja poslinkius** — sekdami savo esamą poslinkį (kur jie skaitė), **patvirtindami poslinkius** įrašydami progresą (kad iš patvirtinto taško atsisaktų iš naujo, o ne iš naujo apdorotų viską), ir galėdami **ieškoti bet kurio poslinkio seno įvykio pakartojimui** ar perapdorojimui iš taško (Kafka išskirtina pakartojimo galimybė), su kiekviena vartotojų grupe sekančia savo poslinkius nepriklausomai — yra esminė supratimui apie tai, kaip Kafka vartojimas, tęsimas ir pakartojimai veikia.

Svarbiausias yra supratimas **poslinkio valdymą ir pristatymo semantiką**: **kada ir kaip patvirtinate poslinkius, daro įtaką pristatymo garantijoms** — patvirtinimas po apdorojimo suteikia **mažiausiai kartą** (stichinis gedimas prieš patvirtinimą sukelia perapdorojimą/pasikartojimus, reikalaugą idempotentiškumo), patvirtinimas prieš suteikia **daugiausiai kartą** (stichinis gedimas po patvirtinimo, bet prieš apdorojimą praranda žinutę), ir **tiksliai kartą** reikalauja daugiau (sandoriai, idempotentinis apdorojimas).

Šis ryšys tarp poslinkio valdymo ir pristatymo garantijų yra svarbi praktinė koncepcija patikimiems Kafka vartotojams kurti.

Suprasti automatinį patvirtinimą ir rankinį patvirtinimą (kontrolė virš garantijų) atspindi praktinį poslinkio valdymą.

Bei poslinkiai yra kaip Kafka seka vartojimo progresą ir suteikia išskirtines galimybes (tęsimas, pakartojimai), o jų valdymas nustato pristatymo garantijas (mažiausiai kartą, daugiausiai kartą, tiksliai kartą), ir nes poslinkių supratimas yra esmingas patikimiems vartotojams kurti, poslinkių supratimas Kafka sistemoje yra esminė, pagrindinė žinios — centrinė kaip Kafka seka vartojimą ir suteikia pakartojimu galimybes, ir kritiškai susiję su pristatymo garantijomis per poslinkio valdymą, esminė patikimiems Kafka vartotojams ir pagrindinė Kafka koncepcija.