Kaip Kafkoje veikia žinučių tvarka?

Question

Accepted Answer

Kafka garantuoja **tvarką partijoje**, bet **ne skirtingose partijose** — pagrindinė sąvoka. Norėdami gauti tvarką susijusiems įvykiams, juos nukreipiate į tą pačią partiją (naudodami tą patį raktą). Tvarkos supratimas yra svarbus dėl korektingumo.

## Tvarka kiekvienoje partijoje

```text
Kafka guarantees:
  ✓ ORDER WITHIN a partition → events in a partition are strictly ordered (by offset);
    consumers read them in order
  ✗ NO order ACROSS partitions → events in different partitions have no relative order
    guarantee (they're processed in parallel by different consumers)
→ this is a FUNDAMENTAL Kafka property (and a common source of misunderstanding)
```

## Tvarkos gavimas susijusiems įvykiams

```text
To keep RELATED events ordered → send them to the SAME partition:
  → use the SAME KEY for related events (key → hash → same partition):
    e.g. all events for orderId=5 use key=5 → same partition → ordered for that order
  → so per-entity ordering: key by the entity (userId, orderId, accountId)
→ choose the key so events that must be ordered share a partition
```

## Kompromisai ir svarstytini aspektai

```text
⚠️ Ordering vs PARALLELISM → ordering within a key/partition limits parallelism for that key
  (all of one key's events are processed by one consumer, in order)
⚠️ A few things break ordering: producer retries (without idempotence + max.in.flight=1),
  adding partitions (changes key→partition mapping)
→ if you DON'T need ordering → no key (spread freely for max parallelism)
→ if you NEED ordering → key appropriately; accept the parallelism scope
```

## Kodėl tai svarbu

Žinučių tvarkos Kafkoje supratimas yra vertingas, nes **tvarka yra pagrindinė, dažnai klaidingai suprantama Kafkos sąvoka**, svarbi korektingumui, todėl tai yra būtina žinios.

Kafkos tvarkos garantija yra konkreti ir labai svarbi suprasti.

Supratimas apie **tvarką kiekvienoje partijoje** — kad Kafka garantuoja tvarką **partijoje** (įvykiai griežtai sutvarkyti pagal offset, skaitomi tvarkoje), bet **ne skirtingose partijose** (įvykiai skirtingose partijose neturintys santykinės tvarkos, apdorojami paraleliai) — yra pagrindinė Kafkos savybė ir **dažnas nesupratimo šaltinis** (žmonės dažnai klaidingai mano, kad egzistuoja visuotinė tvarka), todėl teisingas jos supratimas yra būtinas korektingumui.

Supratimas apie **tvarkos gavimą susijusiems įvykiams** — jų siuntimą į tą pačią partiją naudojant **tą patį raktą** (kad susiję įvykiai, tokie kaip visi tam tikros užsakymo ar vartotojo įvykiai, raktiniai pagal tą objektą, eina į tą pačią partiją ir išlieka sutvarkyti) — yra pagrindinė praktinė technika pasiekti tvarkos korektingumui, kurio reikalingos programos (tvarka pagal objektą naudojant raktinimą).

Supratimas apie **kompromisus ir svarbtinus aspektus** — kad tvarka raktui/partijai **riboja lygiagretumą** tam raktui (visi vieno rakto įvykiai apdorojami vieno vartotojo tvarkoje), kad keletas dalykų laužo tvarką (gamintojo pakartojimai be idempotencijos ir max.in.flight=1, partijų pridėjimas keičiant raktų kartojimą), ir kad turėtumėte naudoti jokio rakto, kai tvarka nereikalinga (maksimaliam lygiagretumui), bet tinkamą raktą, kai ji reikalinga (priimant lygiagretimo sritį) — atspindi subtilų supratimą, kurio reikia norint projektuoti teisingai sutvarkytą sistemą balansavimo lygiagretumą.

Šis tvarkos žinojimas yra svarbus, nes klaida (globalinės tvarkos prėlimavimas arba ne raktų naudojimas įvykiams, kurie reikalauja tvarkos) sukelia realias korektingumo klaidas.

Kadangi tvarka yra pagrindinė, dažnai klaidingai suprantama Kafkos sąvoka (tik kiekvienoje partijoje, reikalinga raktai susijusiems įvykiams), svarbi korektingumui, ir kadangi supratimas apie garantiją, kaip pasiekti tvarką naudojant raktus, ir kompromisus (tvarka prieš lygiagretumą) yra būtinas, žinučių tvarkos supratimas Kafkoje yra vertingas, būtinas Kafkos žinios — pagrindinė, dažnai klaidingai suprantama sąvoka, labai svarbi korektingumui, kur supratimas apie tvarką kiekvienoje partijoje ir raktais pagrindtas maršrutizavimas susijusiems įvykiams (ir lygiagretamo trade-off) yra būtinas norint sukurti Kafkos sistemas, kurios teisingai sutvarko įvykius, pagrindinė sąvoka, kurią tiksliai turi suprasti kiekvienas Kafkos vartotojas.