X'inhu l-offsets fil-Kafka u kif jaħdmu?

Question

Accepted Answer

**Offset** huwa ID uniku u sekwenzjali għal kull avveniment ġewwa partizzjoni — li jimmarki l-pożizzjoni tiegħu. Il-konsumaturi jsegwu u jimpenjanu l-offsets biex jaf liema ħalqu konsumat, li jippermettu r-ripriza, l-erġa' taħrij, u l-ipproċessjar affidabbli.

## X'inhuma l-offsets

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Kif il-konsumaturi juża l-offsets

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Ġestjoni tal-offsets u semantika tal-ħelsien

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Għaliex importanti

Il-fehim tal-offsets huwa fundamentali għaliex huma **kif Kafka jsegwi l-progress tal-konsum u jippermettu l-kapaċitajiet distinti tiegħu** (ripriza, erġa' taħrij, garantiji tal-ħelsien), għalhekk huwa għarfien essenzjali tal-Kafka.

Offset — il-pożizzjoni ta' avveniment ġewwa partizzjoni — huwa ċentrali għal kif il-konsumaturi jaħdmu ma' Kafka.

Il-fehim ta' **x'inhuma l-offsets** (IDs sekwenzjali li jimmarkaw il-pożizzjoni ta' kull avveniment fil-log ordnat ta' partizzjoni, b'avvenimenti miżmuma biex l-offsets jibqgħu validi) huwa l-pedament.

Il-fehim ta' **kif il-konsumaturi juża l-offsets** — isegwu l-offset kurrenti tiegħhom (fejn qraw sa hemm), **jimpenjanu l-offsets** biex jirreġistraw il-progress (biex jerġgħu jibdew minn-punt impenjat fuq restart minflok irriproċessjar ta' kollox), u jkunu kapaċi **isibu lil xi offset biex erġa' taħrij** avvenimenti qodma jew irriproċessjar minn punt (il-kapaċita distinta tal-Kafka ta' erġa' taħrij), b'kull grupp konsumaturi li jsegwi l-offsets tiegħu stess indipendentement — huwa essenzjali għal-fehim ta' kif il-konsum Kafka, il-ripriza, u l-erġa' taħrij jaħdmu.
"); l-aktar importanti, il-fehim ta' **ġestjoni tal-offsets u semantika tal-ħelsien** huwa kruċjali: **meta u kif timpenja l-offsets jaffettwa l-garantiji tal-ħelsien** — impenjamenti wara l-ipproċessjar jagħtu **mill-inqas-darba** (crash qabel l-impenjament jisbaħ irriproċessjar/duplikati, li jeħtieġu idempotency), impenjamenti qabel jagħtu **l-aktar-darba** (crash wara l-impenjament imma qabel l-ipproċessjar naqas il-messaġġ), u **eżatt-darba** jeħtieġ aktar (transazzjonijiet, ipproċessjar idempotent).

Il-konnessjoni din bejn il-ġestjoni tal-offsets u l-garantiji tal-ħelsien huwa kunċett prattiku ewlieni għall-bini ta' konsumaturi Kafka affidabbli.

Il-fehim ta' auto-commit vs manual commit (kontroll fuq garantiji) jirrifletti l-ġestjoni prattika tal-offsets.

Billi l-offsets huma kif Kafka jsegwi l-progress tal-konsum u jippermettu l-kapaċitajiet distinti tiegħu (ripriza, erġa' taħrij) filwaqt li l-ġestjoni tagħhom tiddetermina l-garantiji tal-ħelsien (mill-inqas-darba, l-aktar-darba, eżatt-darba), u billi l-fehim tal-offsets huwa essenzjali għall-bini ta' konsumaturi affidabbli, il-fehim tal-offsets fil-Kafka huwa għarfien essenzjali u fundamentali — ċentrali għal kif Kafka jsegwi l-konsum u jippermettu erġa' taħrij, u kruċjali marbuta mal-garantiji tal-ħelsien permezz ta' ġestjoni tal-offsets, essenzjali għall-bini ta' konsumaturi Kafka affidabbli u kunċett ewlieni tal-Kafka.