Što je registar sheme i zašto je važan?

Question

Accepted Answer

Registar sheme upravlja **data shemama** za Kafka poruke — definira i primjenjuje strukturu podataka o događajima, omogućujući **evoluciju sheme** na siguran način. Važan je za konzistentnost podataka i kompatibilnost između proizvođača i potrošača.

## Problem: struktura podataka u porukama

```text
Kafka messages are just bytes → producers and consumers must AGREE on the data structure:
  → without management → producers might change the format, breaking consumers
  → how do consumers know the structure? how do you change it safely?
→ a SCHEMA REGISTRY manages this.
```

## Što registar sheme radi

```text
SCHEMA REGISTRY → a central service storing and managing message SCHEMAS:
  → defines the STRUCTURE of message data (fields, types) — e.g. with AVRO, Protobuf, JSON Schema
  → producers/consumers reference schemas (by ID) → consistent serialization/deserialization
  → ENFORCES schemas → validates data conforms; consumers know how to parse messages
→ ensures producers and consumers share a consistent, evolving contract
```

## Evolucija sheme (ključna prednost)

```text
SCHEMA EVOLUTION → change schemas over time WITHOUT breaking existing producers/consumers:
  → the registry enforces COMPATIBILITY rules (backward/forward compatible changes):
    - BACKWARD compatible → new consumers can read old data (e.g. add an optional field)
    - FORWARD compatible → old consumers can read new data
  → prevents incompatible changes that would break the pipeline
→ critical for evolving data formats safely in a system with many producers/consumers
```

## Zašto je važno

Razumijevanje registra sheme vrijedno je jer **osigurava konzistentnost podataka i sigurnu evoluciju** u Kafka sustavima, što je važno razmatranje, zato je to relevantno znanje za proizvodne Kafka sustave.

Budući da su Kafka poruke samo nizovi bajtova, proizvođači i potrošači moraju se dogovoriti oko strukture podataka — a bez upravljanja, promjene formata mogu prekinuti potrošače, postavljajući pitanja kako potrošači znaju strukturu i kako je sigurno promijeniti.

Registar sheme rješava to **upravljanjem shemama poruka centralno**.

Razumijevanje **što to radi** — pohrana i upravljanje shemama (definiranje strukture poruke s Avro, Protobuf ili JSON Schema), proizvođači i potrošači mogu referencirati sheme za konzistentnu serijalizaciju/deserijalizaciju, te primjena shema (validacija podataka i omogućavanje potrošačima da analiziraju poruke) — pojašnjava kako osigurava konzistentan ugovor o podacima između proizvođača i potrošača.

Najvažnije, razumijevanje **evolucije sheme** je ključna prednost: mijenjanje shema tijekom vremena **bez prekida postojećih proizvođača i potrošača**, s registrom koji primjenjuje **pravila kompatibilnosti** (unazadna kompatibilnost tako da novi potrošači čitaju stare podatke, unaprijedna kompatibilnost tako da stari potrošači čitaju nove podatke) i sprječavanje nekompatibilnih promjena koje bi prekinule cijelu liniju.

Ova sigurna evolucija kritična je u stvarnim sustavima gdje mnogi proizvođači i potrošači dijele podatke i gdje se formati moraju razvijati bez koordiniranih prekidnih promjena — pravi, važan izazov koji registri shema rješavaju.

Razumijevanje registra sheme odražava svjesnost o problemima konzistentnosti podataka i kompatibilnosti koji su važni u proizvodnim Kafka sustavima s više proizvođača i potrošača.

Budući da su konzistentnost podataka i sigurna evolucija sheme važna razmatranja u Kafka sustavima (gdje proizvođači i potrošači moraju se dogovoriti oko strukture i gdje se formati moraju sigurno razvijati), i budući da registar sheme to upravlja (primjenom shema i kompatibilnosti za sigurnu evoluciju), i budući da je razumijevanje toga relevantno za proizvodne Kafka sustave, razumijevanje registra sheme je vrijedno, praktično relevantno znanje — važno za osiguravanje konzistentnosti podataka i sigurne evolucije sheme u Kafka sustavima (što je pravi izazov s više proizvođača/potrošača), omogućavanje formatima da se razvijaju bez prekida cijele linije, i relevantno za gradnju robusnih, evoluibilnih Kafka-baziranih sustava za podatke.