Schema registry คืออะไร และทำไมจึงสำคัญ?

Question

Accepted Answer

**Schema registry** จัดการ **data schemas** สำหรับข้อความของ Kafka — กำหนดและบังคับใช้โครงสร้างของข้อมูล event ช่วยให้ทำ **schema evolution** ได้อย่างปลอดภัย มันมีความสำคัญต่อความสอดคล้องของข้อมูลและความเข้ากันได้ระหว่าง producer และ consumer

## ปัญหา: โครงสร้างข้อมูลในข้อความ

```text
Kafka messages are just bytes → producers and consumers must AGREE on the data structure:
  → without management → producers might change the format, breaking consumers
  → how do consumers know the structure? how do you change it safely?
→ a SCHEMA REGISTRY manages this.
```

## Schema registry ทำอะไร

```text
SCHEMA REGISTRY → a central service storing and managing message SCHEMAS:
  → defines the STRUCTURE of message data (fields, types) — e.g. with AVRO, Protobuf, JSON Schema
  → producers/consumers reference schemas (by ID) → consistent serialization/deserialization
  → ENFORCES schemas → validates data conforms; consumers know how to parse messages
→ ensures producers and consumers share a consistent, evolving contract
```

## Schema evolution (ประโยชน์สำคัญ)

```text
SCHEMA EVOLUTION → change schemas over time WITHOUT breaking existing producers/consumers:
  → the registry enforces COMPATIBILITY rules (backward/forward compatible changes):
    - BACKWARD compatible → new consumers can read old data (e.g. add an optional field)
    - FORWARD compatible → old consumers can read new data
  → prevents incompatible changes that would break the pipeline
→ critical for evolving data formats safely in a system with many producers/consumers
```

## ทำไมจึงสำคัญ

การเข้าใจ schema registry นั้นมีคุณค่าเพราะมัน **รับประกันความสอดคล้องของข้อมูลและการ evolve อย่างปลอดภัย** ในระบบ Kafka ซึ่งเป็นเรื่องสำคัญ จึงเป็นความรู้ที่เกี่ยวข้องกับ Kafka ใน production

เนื่องจากข้อความของ Kafka เป็นเพียง bytes producer และ consumer จึงต้องตกลงกันเรื่องโครงสร้างข้อมูล — และหากไม่มีการจัดการ การเปลี่ยน format อาจทำให้ consumer พังได้ ซึ่งทำให้เกิดคำถามว่า consumer รู้โครงสร้างได้อย่างไรและจะเปลี่ยนมันอย่างปลอดภัยได้อย่างไร

**Schema registry** จัดการเรื่องนี้ด้วยการบริหารจัดการ schemas ของข้อความแบบรวมศูนย์

การเข้าใจ **สิ่งที่มันทำ** — การจัดเก็บและจัดการ schemas (กำหนดโครงสร้างข้อความด้วย Avro, Protobuf หรือ JSON Schema), การให้ producer และ consumer อ้างอิง schemas เพื่อ serialization/deserialization ที่สอดคล้องกัน และการบังคับใช้ schemas (ตรวจสอบข้อมูลและช่วยให้ consumer parse ข้อความได้) — ช่วยให้เข้าใจว่ามันรับประกัน contract ข้อมูลที่สอดคล้องกันระหว่าง producer และ consumer ได้อย่างไร

ที่สำคัญที่สุด การเข้าใจ **schema evolution** เป็นประโยชน์สำคัญ: การเปลี่ยน schemas เมื่อเวลาผ่านไป **โดยไม่ทำให้ producer และ consumer ที่มีอยู่พัง** โดย registry บังคับใช้ **compatibility rules** (backward compatibility เพื่อให้ consumer ใหม่อ่านข้อมูลเก่าได้, forward compatibility เพื่อให้ consumer เก่าอ่านข้อมูลใหม่ได้) และป้องกันการเปลี่ยนแปลงที่เข้ากันไม่ได้ซึ่งจะทำให้ pipeline พัง

การ evolve อย่างปลอดภัยนี้สำคัญมากในระบบจริงที่มี producer และ consumer จำนวนมากใช้ข้อมูลร่วมกันและ format ต้อง evolve โดยไม่ต้องประสานงานเพื่อทำการเปลี่ยนแปลงที่ทำให้พัง — เป็นความท้าทายที่แท้จริงและสำคัญที่ schema registry แก้ไขได้

การเข้าใจ schema registry สะท้อนถึงความตระหนักในเรื่องความสอดคล้องของข้อมูลและความเข้ากันได้ที่สำคัญใน Kafka production ที่มี producer และ consumer หลายตัว

เนื่องจากความสอดคล้องของข้อมูลและการ evolve schema อย่างปลอดภัยเป็นเรื่องสำคัญในระบบ Kafka (ที่ producer และ consumer ต้องตกลงกันเรื่องโครงสร้างและ format ต้อง evolve อย่างปลอดภัย) และเนื่องจาก schema registry จัดการเรื่องนี้ (บังคับใช้ schemas และ compatibility เพื่อการ evolve อย่างปลอดภัย) และเนื่องจากการเข้าใจมันเกี่ยวข้องกับ Kafka ใน production การเข้าใจ schema registry จึงเป็นความรู้ที่มีคุณค่าและเกี่ยวข้องกับการปฏิบัติจริง — สำคัญต่อการรับประกันความสอดคล้องของข้อมูลและการ evolve schema อย่างปลอดภัยในระบบ Kafka (เรื่องจริงที่มี producer/consumer หลายตัว) ช่วยให้ format สามารถ evolve ได้โดยไม่ทำให้ pipeline พัง และเกี่ยวข้องกับการสร้างระบบข้อมูลที่ใช้ Kafka ที่แข็งแกร่งและสามารถ evolve ได้