Mitä ovat offsetit Kafkassa ja miten ne toimivat?

Question

Accepted Answer

**Offset** on uniikki, peräkkäinen tunniste jokaiselle tapahtumalle osiossa — se merkitsee tapahtuman paikan. Kuluttajat seuraavat ja vahvistavat offsetteja tietääkseen mitä he ovat kuluttaneet, mikä mahdollistaa jatkamisen, toiston ja luotettavan käsittelyn.

## Mitä offsetit ovat

```text
OFFSET → the position/ID of an event within a PARTITION:
  → each partition is an ordered log; events get incrementing offsets (0, 1, 2, ...)
  → an offset uniquely identifies an event's position in its partition
  → events are RETAINED → the log keeps events (offsets remain valid for the retention period)
```

## Kuinka kuluttajat käyttävät offsetteja

```text
→ a consumer reads events in order and tracks its CURRENT offset (where it has read to)
→ COMMITTING an offset → records "I've processed up to here" → on restart, resume from
  the committed offset (don't reprocess everything)
→ consumers can SEEK to any offset → REPLAY old events, skip ahead, reprocess from a point
→ each consumer GROUP tracks its own offsets per partition (independent progress)
```

## Offsetin hallinta ja toimintotakuut

```text
WHEN/HOW you commit offsets affects DELIVERY GUARANTEES:
  → commit AFTER processing → AT-LEAST-ONCE (a crash before commit → reprocess → duplicates;
    need idempotency)
  → commit BEFORE processing → AT-MOST-ONCE (a crash after commit but before processing →
    message lost)
  → EXACTLY-ONCE → requires more (transactions, idempotent processing)
→ auto-commit (periodic) vs manual commit (control) → choose based on guarantees needed
```

## Miksi sillä on merkitystä

Offsettien ymmärtäminen on perustavanlaatuista, koska ne ovat **se tapa, jolla Kafka seuraa kulutusedistystä ja mahdollistaa sen erilaiset ominaisuudet** (jatkaminen, toisto, toimintotakuut), joten se on välttämätöntä Kafkan tuntemusta.

Offset — tapahtuman sijainti osiossa — on keskeinen osa sitä, miten kuluttajat työskentelevät Kafkan kanssa.

**Offsettien ymmärtäminen** (peräkkäiset tunnisteet, jotka merkitsevät kunkin tapahtuman paikkaa osion järjestetyssä lokissa, tapahtumien säilytys siten, että offsetit pysyvät kelvolliset) on perusta.

**Sen ymmärtäminen, kuinka kuluttajat käyttävät offsetteja** — seuraamalla heidän nykyistä offsettia (missä he ovat lukeneet), **offsettien vahvistaminen** edistyksen tallentamiseksi (joten he jatkavat vahvistetusta pisteestä uudelleenkäynnistyksen yhteydessä pelkkien kaikkien uudelleenkäsittelemisen sijaan) ja kyky **hakea mihin tahansa offsettiin toistaakseen** vanhoja tapahtumia tai uudelleenkäsittelyä pisteestä (Kafkan erottuva toisto-ominaisuus), jokaisen kuluttajaryhmän seuraamalla omia offsettejaan itsenäisesti — on olennaista Kafkan kulutuksen, jatkamisen ja toiston ymmärtämiseksi.

Kovin tärkeää on **offsetin hallinnan ja toimintotakuiden** ymmärtäminen: **milloin ja kuinka vahvistat offsetteja vaikuttaa toimintotakuisiin** — vahvistaminen käsittelyn jälkeen antaa **vähintään kerran** (kaatuminen ennen vahvistusta aiheuttaa uudelleenkäsittelyn/kaksoiskappaleita, vaatii idempotenttia), vahvistaminen ennen antaa **korkeintaan kerran** (kaatuminen vahvistuksen jälkeen mutta ennen käsittelyä menettää viestin), ja **täsmälleen kerran** vaatii enemmän (transaktiot, idempotentti käsittely).

Tämä yhteys offsetin hallinnan ja toimintotakuiden välillä on avainasemassa oleva käytännön käsite luotettavien Kafkan kuluttajien rakentamiseksi.

Automaattinen vahvistus vs manuaalinen vahvistus (hallinta takuista) heijastaa käytännön offsetin hallintaa.

Koska offsetit ovat se tapa, jolla Kafka seuraa kulutusedistystä ja mahdollistaa sen erilaiset ominaisuudet (jatkaminen, toisto) samalla kun niiden hallinta määrittää toimintotakuut (vähintään kerran, korkeintaan kerran, täsmälleen kerran), ja koska offsettien ymmärtäminen on välttämätöntä luotettavien kuluttajien rakentamiseksi, offsettien ymmärtäminen Kafkassa on välttämätöntä, perustavanlaatuista tietoa — keskeistä sille, kuinka Kafka seuraa kulutusta ja mahdollistaa toiston, ja ratkaisevan tärkeä yhteys toimintotakuisiin offsetin hallinnan kautta, välttämätöntä luotettavien Kafkan kuluttajien rakentamiselle ja keskeinen Kafkan käsite.