Kaip Kafkoje veikia duomenų išsaugojimas ir saugykla?

Question

Accepted Answer

Kafka **saugo įvykius** nustatytam laikotarpiui (arba dydžiui), juos išlaikydama skaidinio žurnaluose net po jų suvartojimo — tai leidžia atgaminti ir keliais vartotojams skaityti duomenis. Išsaugojimo ir žurnalo valdymo supratimas yra svarbus naudojant Kafką ir tvarkant saugyklą.

## Išsaugojimas — įvykiai išlaiko

```text
Unlike traditional queues, Kafka RETAINS events (doesn't delete on consumption):
  → events stay in the partition log for a configured RETENTION period (e.g. 7 days) or
    SIZE limit
  → enables: REPLAY (re-read history), multiple consumers reading independently, late
    consumers catching up
  → after retention expires → old segments are deleted (or compacted)
→ Kafka is a durable LOG, not just a transient queue
```

## Išsaugojimo konfigūracija

```text
→ TIME-based → retention.ms (keep events for N time, e.g. 7 days)
→ SIZE-based → retention.bytes (keep up to N bytes per partition)
→ configured per topic; events past the limit are removed (oldest first)
→ choose based on replay needs, consumer lag tolerance, and storage capacity
```

## Žurnalo suspaudimas

```text
LOG COMPACTION → an alternative retention mode: keep the LATEST value per KEY (not all events):
  → retains the most recent record for each key, removing older ones for that key
  → useful for: changelog/state topics (the current state per key matters, not full history)
  → e.g. a topic of "user → latest profile" → keep the latest per user
→ vs time/size retention (keep recent history) — compaction keeps latest-per-key forever
```

## Kodėl tai svarbu

Duomenų išsaugojimo ir saugyklos Kafkoje supratimas yra vertingas, nes **išsaugojimas yra išskirtinis, svarbus Kafka bruožas**, turintis įtakos galimybėms ir saugyklai, todėl tai yra aktualios žinios naudojant ir valdant Kafką.

Kafka įvykių išsaugojimas (jų išlaikymas skaidinio žurnaluose net po jų suvartojimo) yra pagrindinis skirtumas nuo tradiciniu eilučių ir leidžia Kafkai turėti išskirtines galimybes.

Isšaugojimo supratimas — kad Kafka saugo įvykius nustatytam laikotarpiui arba dydžiui (nescanina po suvartojimo), o tai leidžia **atgaminti** (iš naujo skaityti istoriją), keliems vartotojams skaitytis nepriklausomai ir vėliems vartotojams susilyginti — parodo, kodėl Kafka yra patikimas žurnalas, o ne laikinoji eilė, ir kaip veikia jos atgaminimo ir kelių vartotojų galimybės.

Isšaugojimo konfigūracijos supratimas — laikotarpio pagrindas (retention.ms, pvz., 7 dienos) ir dydžio pagrindas (retention.bytes) išsaugojimas, konfigūruojamas kiekvienai temai, pasirinkimas remiantis atgaminimo poreikiais, vartotojų atsilikimo tolerancija ir saugyklos talpa — yra svarbi praktinė žinia, skirta valdyti, kaip ilgai duomenys išlaikomi, ir susijusiam saugyklos poreikiui.

Zhurnalo suspaudimo supratimas — alternatyvus išsaugojimo režimas, kuris saugo **naujausią reikšmę pagal raktą** (o ne visus įvykius), naudingas changelog/state temoms, kur dabartinė būsena pagal raktą yra svarbi (pvz., „naudotojas → naujausia profilio informacija,