Çfarë janë offsetet në Kafka dhe si funksionojnë ato?

Question

Accepted Answer

Një **offset** është një ID unik, sekuencial për secilin event brenda një particioni — duke shënuar pozicionin e tij. Konsumuesit e ndjejnë dhe angazhojnë offsetet për të ditur se çfarë kanë konsumuar, duke mundësuar rifillimin, riprodhimin dhe përpunimin e besueshëm.

## Çfarë janë offsetet

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Si përdorin konsumuesit offsetet

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Menaxhimi i offseteve dhe semantika e dorëzimit

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Pse është e rëndësishme

Përqasja e offseteve është thelbësore sepse ato janë **si Kafka ndjek përparimin e konsumimit dhe mundëson aftësitë e tij karakteristike** (rifillimi, riprodhimi, garantitë dorëzimi), kështu që është njohuri thelbësore e Kafka-s.

Një offset — pozicioni i një eventi brenda një particioni — është qendror në atë se si konsumuesit punojnë me Kafka-n.

Përqasja **çfarë janë offsetet** (ID-të sekuencialë që shënojnë pozicionin e secilit event në regjistrin e renditur të partizionit, me ngjarje të ruajtura kështu offsetet mbeten të vlefshme) është baza.

Përqasja **si përdorin konsumuesit offsetet** — ndjekja e offsetit të tyre aktual (ku kanë lexuar), **angazhimi i offseteve** për të regjistruar përparimin (kështu që ato fillojnë nga pika e angazhuar pas rimjekjes në vend se të ripresin secilin gjë), dhe aftësia për të **kërkuar në çfarëdo offseti për të riprodhuar** ngjarje të vjetra ose riprocesuar nga një pikë (aftësia karakteristike e riprodhimit të Kafka-s), me secilin grup konsumuesish që ndjek offsetet e tij në mënyrë të pavarur — është thelbësore për të kuptuar se si funksionojnë konsumimi i Kafka-s, rifillimi dhe riprodhimi.

Më e rëndësishmja, përqasja **menaxhimi i offseteve dhe semantika e dorëzimit** është vendimtare: **kur dhe si ju angazhoni offsetet ndikon në garantitë e dorëzimit** — angazhimi pas përpunimit jep **të paktën një herë** (një rrëzim para angazhimit shkakton riprocesim/duplika, duke kërkuar idempotencë), angazhimi përpara jep **më shumti një herë** (një rrëzim pas angazhimit por përpara përpunimit humbet mesazhin), dhe **saktësisht-një herë** kërkon më shumë (transaksione, përpunim idempotent).

Ky lidhje midis menaxhimit të offseteve dhe garantive të dorëzimit është një koncept praktik kyç për ndërtimin e konsumuesve të besueshëm të Kafka-s.

Përqasja auto-commit versus manual commit (kontrolli mbi garantitë) pasqyron menaxhimin praktik të offseteve.

Meqenëse offsetet janë si Kafka ndjek përparimin e konsumimit dhe mundëson aftësitë e tij karakteristike (rifillimi, riprodhimi) ndërsa menaxhimi i tyre përcakton garantitë e dorëzimit (të paktën-një herë, më shumti-një herë, saktësisht-një herë), dhe meqenëse përqasja e offseteve është thelbësore për ndërtimin e konsumuesve të besueshëm, përqasja e offseteve në Kafka është njohuri thelbësore, themelore — qendror në atë se si Kafka ndjek konsumimin dhe mundëson riprodhimin, dhe në mënyrë vendimtare i lidhur me garantitë e dorëzimit përmes menaxhimit të offseteve, thelbësor për ndërtimin e konsumuesve të besueshëm të Kafka-s dhe një koncept kyç të Kafka-s.