ஒரு schema registry என்றால் என்ன மற்றும் அது ஏன் முக்கியமானது?

Question

Accepted Answer

A **schema registry** manages **data schemas** for Kafka messages — defining and enforcing the structure of event data, enabling **schema evolution** safely. It's important for data consistency and compatibility between producers and consumers.

## சிக்கல்: செய்திகளில் தரவு கட்டமைப்பு

```text
Kafka messages are just bytes → producers and consumers must AGREE on the data structure:
  → without management → producers might change the format, breaking consumers
  → how do consumers know the structure? how do you change it safely?
→ a SCHEMA REGISTRY manages this.
```

## ஒரு schema registry என்ன செய்கிறது

```text
SCHEMA REGISTRY → a central service storing and managing message SCHEMAS:
  → defines the STRUCTURE of message data (fields, types) — e.g. with AVRO, Protobuf, JSON Schema
  → producers/consumers reference schemas (by ID) → consistent serialization/deserialization
  → ENFORCES schemas → validates data conforms; consumers know how to parse messages
→ ensures producers and consumers share a consistent, evolving contract
```

## Schema evolution (முக்கிய நன்மை)

```text
SCHEMA EVOLUTION → change schemas over time WITHOUT breaking existing producers/consumers:
  → the registry enforces COMPATIBILITY rules (backward/forward compatible changes):
    - BACKWARD compatible → new consumers can read old data (e.g. add an optional field)
    - FORWARD compatible → old consumers can read new data
  → prevents incompatible changes that would break the pipeline
→ critical for evolving data formats safely in a system with many producers/consumers
```

## ஏன் இது முக்கியமானது

schema registry ஐ புரிந்துகொள்வது மதிப்புமிக்கது என்பதே **Kafka சிஸ்டங்களில் தரவு நிலைத்தன்மை மற்றும் பாதுகாப்பான evolution ஐ உறுதிசெய்கிறது**, இது ஒரு முக்கியமான கவலை, எனவே இது production Kafka க்கான தொடர்புடைய அறிவு.

Kafka செய்திகள் வெறும் bytes ஆக இருப்பதால், producers மற்றும் consumers அந்த தரவு கட்டமைப்பில் உடன்பட வேண்டும் — மற்றும் நிர்வாகம் இல்லாமல், வடிவ மாற்றங்கள் consumers ஐ உடைக்கலாம், consumers அந்த கட்டமைப்பை எப்படி தெரிந்துகொள்கின்றன மற்றும் அதை பாதுகாப்பாக எப்படி மாற்றுவது என்ற கேள்விகளை எழுப்புகின்றன.

ஒரு **schema registry** இதை மத்திய ரீதியாக செய்திகளின் schemas ஐ நிர்வகிப்பதன் மூலம் தீர்க்கிறது.

अहि **என்ன செய்கிறது** என்பதை புரிந்துகொள்வது — schemas ஐ சேமித்து நிர்வகிக்கவும் (Avro, Protobuf, அல்லது JSON Schema உடன் செய்தி கட்டமைப்பை வரையறுக்கவும்), producers மற்றும் consumers நிலையான serialization/deserialization க்கு schemas ஐ குறிப்பிடவும், schemas ஐ செயல்படுத்தவும் (தரவு மதிப்பாய்வு செய்து consumers க்கு செய்திகளை parse செய்ய உதவியும்) — இது producers மற்றும் consumers இடையே ஒரு நிலையான தரவு চুক்கத்தை உறுதிசெய்ய உதவும் என்பதை தெளிவுபடுத்துகிறது.

சबसे முக்கியமாக, **schema evolution** ஐ புரிந்துகொள்வது முக்கிய நன்மை: **বিদ்যமான producers மற்றும் consumers ஐ உடைக்காமல்** சமயத்தில் schemas ஐ மாற்றுவது, registry **compatibility rules** ஐ செயல்படுத்துவது (backward compatibility அதனால் புதிய consumers பழைய தரவைப் படிக்கலாம், forward compatibility அதனால் பழைய consumers புதிய தரவைப் படிக்கலாம்) மற்றும் குழாய்ஐ உடைக்கும் பொருந்தாத மாற்றங்களை தடுப்பது.

இந்த பாதுகாப்பான evolution பல producers மற்றும் consumers தரவை பகிர்ந்துகொள்ளும் உண்மையான சிஸ்டங்களில் முக்கியமானது மற்றும் வடிவங்கள் ஒருங்கிணைந்த breaking மாற்றங்கள் இல்லாமல் develop ஆய வேண்டும் — ஒரு உண்மையான, முக்கியமான சவால் என்று schema registries தீர்க்கிறது.

schema registry ஐ புரிந்துகொள்வது production Kafka சிஸ்டங்களில் பல producers மற்றும் consumers கொண்ட தரவு-நிலைத்தன்மை மற்றும் compatibility கவலைகள் பற்றிய விழிப்புணர்வை பிரதிபலிக்கிறது.

তরवत্র தரவு நிலைத்தன்மை மற்றும் பாதுகாப்பான schema evolution Kafka சிஸ்டங்களில் முக்கியமான கவலைகள் (producers மற்றும் consumers அந்த கட்டமைப்பில் உடன்பட வேண்டும் மற்றும் வடிவங்கள் பாதுகாப்பாக evolve ஆய வேண்டும்), மற்றும் ஒரு schema registry இதை நிர்வகிக்கிறது (schemas மற்றும் compatibility ஐ safe evolution க்கு செயல்படுத்துவது), மற்றும் அதை புரிந்துகொள்வது production Kafka க்கு தொடர்புடையது, schema registry ஐ புரிந்துகொள்வது மதிப்புமிக்கது, நடைமுறையளவு-தொடர்புடைய அறிவு — Kafka சிஸ்டங்களில் (பல producers/consumers உடன் உண்மையான கவலை) தரவு நிலைத்தன்மை மற்றும் பாதுகாப்பான schema evolution உறுதிசெய்ய முக்கியமானது, குழாய்ஐ உடைக்காமல் வடிவங்கள் develop ஆய உதவியும், மற்றும் robust, evolvable Kafka-based தரவு சிஸ்டங்கள் உருவாக்கவும் தொடர்புடையது.