Co je schéma registry a proč je důležité?

Question

Accepted Answer

**Schéma registry** spravuje **datová schémata** pro Kafka zprávy — definuje a vynucuje strukturu dat událostí, umožňuje **bezpečnou evoluci schématu**. Je důležité pro konzistenci dat a kompatibilitu mezi producenty a spotřebiteli.

## Problém: struktura dat ve zprávách

```text
Kafka messages are just bytes → producers and consumers must AGREE on the data structure:
  → without management → producers might change the format, breaking consumers
  → how do consumers know the structure? how do you change it safely?
→ a SCHEMA REGISTRY manages this.
```

## Co dělá schéma registry

```text
SCHEMA REGISTRY → a central service storing and managing message SCHEMAS:
  → defines the STRUCTURE of message data (fields, types) — e.g. with AVRO, Protobuf, JSON Schema
  → producers/consumers reference schemas (by ID) → consistent serialization/deserialization
  → ENFORCES schemas → validates data conforms; consumers know how to parse messages
→ ensures producers and consumers share a consistent, evolving contract
```

## Evoluce schématu (klíčová výhoda)

```text
SCHEMA EVOLUTION → change schemas over time WITHOUT breaking existing producers/consumers:
  → the registry enforces COMPATIBILITY rules (backward/forward compatible changes):
    - BACKWARD compatible → new consumers can read old data (e.g. add an optional field)
    - FORWARD compatible → old consumers can read new data
  → prevents incompatible changes that would break the pipeline
→ critical for evolving data formats safely in a system with many producers/consumers
```

## Proč je to důležité

Porozumění schéma registry je cenné, protože **zajišťuje konzistenci dat a bezpečnou evoluci** v Kafka systémech, což je důležitá otázka, a je to relevantní znalost pro produkční Kafka.

Protože Kafka zprávy jsou jen bajty, producenti a spotřebitelé se musí dohodnout na struktuře dat — a bez správy mohou změny formátu rozbít spotřebitele, což vyvolává otázky, jak spotřebitelé poznají strukturu a jak ji bezpečně měnit.

**Schéma registry** to řeší centrální správou schémat zpráv.

Porozumění **tomu, co dělá** — ukládání a správa schémat (definování struktury zpráv s Avro, Protobuf nebo JSON Schema), producenti a spotřebitelé odkazují na schémata pro konzistentní serializaci/deserializaci a vynucování schémat (validace dat a umožnění spotřebitelům parsovat zprávy) — objasňuje, jak zajišťuje konzistentní datovou smlouvu mezi producenty a spotřebiteli.

Nejdůležitější je pochopení **evoluce schématu** jako klíčové výhody: změna schémat v čase **bez rozbití stávajících producentů a spotřebitelů**, přičemž registry vynucuje **pravidla kompatibility** (zpětná kompatibilita, aby noví spotřebitelé četli stará data, přední kompatibilita, aby staří spotřebitelé četli nová data) a brání nekompatibilním změnám, které by rozbily pipeline.

Tato bezpečná evoluce je kritická v reálných systémech, kde mnoho producentů a spotřebitelů sdílí data a formáty se musí vyvíjet bez koordinovaných breaking changes — genuine, důležitá výzva, kterou schéma registry řeší.

Porozumění schéma registry odráží vědomí obav na konzistenci dat a kompatibility, které jsou důležité v produkčních Kafka systémech s více producenty a spotřebiteli.

Protože konzistence dat a bezpečná evoluce schématu jsou důležité otázky v Kafka systémech (kde producenti a spotřebitelé se musí dohodnout na struktuře a formáty se musí bezpečně vyvíjet), a protože schéma registry to spravuje (vynucování schémat a kompatibility pro bezpečnou evoluci), a protože jeho pochopení je relevantní pro produkční Kafka, je porozumění schéma registry cenné, prakticky relevantní znalostí — důležité pro zajištění konzistence dat a bezpečné evoluce schématu v Kafka systémech (reální problém s více producenty/spotřebiteli), umožňující formátům evoluat bez rozbití pipeline a relevantní pro stavbu robustních, evolvovatelných Kafka-based datových systémů.