Hvad er et schema registry, og hvorfor er det vigtigt?

Question

Accepted Answer

Et **schema registry** administrerer **dataschemaer** for Kafka-beskeder — definerer og håndhæver strukturen af eventdata, hvilket gør det muligt at udvikle **schemas sikkert**. Det er vigtigt for datakonsistens og kompatibilitet mellem producenter og konsumenter.

## Problemet: datastruktur i beskeder

```text
Kafka messages are just bytes → producers and consumers must AGREE on the data structure:
  → without management → producers might change the format, breaking consumers
  → how do consumers know the structure? how do you change it safely?
→ a SCHEMA REGISTRY manages this.
```

## Hvad et schema registry gør

```text
SCHEMA REGISTRY → a central service storing and managing message SCHEMAS:
  → defines the STRUCTURE of message data (fields, types) — e.g. with AVRO, Protobuf, JSON Schema
  → producers/consumers reference schemas (by ID) → consistent serialization/deserialization
  → ENFORCES schemas → validates data conforms; consumers know how to parse messages
→ ensures producers and consumers share a consistent, evolving contract
```

## Schema evolution (hovedfordelen)

```text
SCHEMA EVOLUTION → change schemas over time WITHOUT breaking existing producers/consumers:
  → the registry enforces COMPATIBILITY rules (backward/forward compatible changes):
    - BACKWARD compatible → new consumers can read old data (e.g. add an optional field)
    - FORWARD compatible → old consumers can read new data
  → prevents incompatible changes that would break the pipeline
→ critical for evolving data formats safely in a system with many producers/consumers
```

## Hvorfor det betyder noget

At forstå schema registry er værdifuldt, fordi det **sikrer datakonsistens og sikker udvikling** i Kafka-systemer, hvilket er en vigtig hensyn, så det er relevant viden for Kafka i produktion.

Da Kafka-beskeder blot er bytes, skal producenter og konsumenter blive enige om datastrukturen — og uden administration kan formatændringer ødelægge konsumenter, hvilket rejser spørgsmål om, hvordan konsumenter kender strukturen, og hvordan man ændrer den sikkert.

Et **schema registry** løser dette ved at administrere beskedschemaer centralt.

At forstå **hvad det gør** — lagring og administration af schemas (definition af beskedstruktur med Avro, Protobuf eller JSON Schema), at producenter og konsumenter refererer til schemas for konsistent serialisering/deserialisering, og håndhævelse af schemas (validering af data og gør det muligt for konsumenter at tolke beskeder) — præciserer, hvordan det sikrer en konsistent datakontrakt mellem producenter og konsumenter.

Vigtigst af alt er det at forstå **schema evolution** hovedfordelen: ændring af schemas over tid **uden at ødelægge eksisterende producenter og konsumenter**, med registry håndhævelse af **kompatibilitetsregler** (bagudkompatibilitet så nye konsumenter læser gamle data, forwardskompatibilitet så gamle konsumenter læser nye data) og forhindrer inkompatible ændringer, der ville ødelægge pipeline'en.

Denne sikre udvikling er kritisk i virkelige systemer, hvor mange producenter og konsumenter deler data, og formater skal udvikle sig uden koordinerede ændringer, der ødelægger — en ægte, vigtig udfordring, som schema registries løser.

At forstå schema registry afspejler bevidsthed om datakonsistens- og kompatibilitetsproblemer, der betyder noget i Kafka-produktion med flere producenter og konsumenter.

Da datakonsistens og sikker schemaudvikling er vigtige spørgsmål i Kafka-systemer (hvor producenter og konsumenter skal blive enige om struktur, og formater skal udvikles sikkert), og da et schema registry administrerer dette (håndhævelse af schemas og kompatibilitet for sikker udvikling), og da forståelse heraf er relevant for Kafka i produktion, er forståelse af schema registry værdifuld, praktisk relevant viden — vigtig for at sikre datakonsistens og sikker schemaudvikling i Kafka-systemer (en real bekymring med flere producenter/konsumenter), hvilket gør det muligt for formater at udvikle sig uden at ødelægge pipeline'en, og relevant for at bygge robuste, evolutionbare Kafka-baserede datasystemer.