schema registry란 무엇이며 왜 중요합니까?

Question

Accepted Answer

**schema registry**는 Kafka 메시지의 **데이터 스키마**를 관리합니다 — 이벤트 데이터의 구조를 정의하고 강제하여 **스키마 진화**를 안전하게 가능하게 합니다. producer와 consumer 간 데이터 일관성과 호환성에 중요합니다.

## 문제: 메시지의 데이터 구조

```text
Kafka 메시지는 단지 바이트 → producer와 consumer가 데이터 구조에 합의해야 함:
  → 관리 없이 → producer가 형식을 바꿔 consumer를 망가뜨릴 수 있음
  → consumer는 구조를 어떻게 아는가? 어떻게 안전하게 바꾸는가?
→ SCHEMA REGISTRY가 이를 관리합니다.
```

## schema registry가 하는 일

```text
SCHEMA REGISTRY → 메시지 SCHEMA를 저장하고 관리하는 중앙 서비스:
  → 메시지 데이터의 구조(필드, 타입) 정의 — 예: AVRO, Protobuf, JSON Schema로
  → producer/consumer가 스키마를 참조(ID로) → 일관된 직렬화/역직렬화
  → 스키마 강제 → 데이터가 따르는지 검증; consumer가 메시지를 파싱하는 법을 앎
→ producer와 consumer가 일관되고 진화하는 계약을 공유하도록 보장
```

## 스키마 진화 (핵심 이점)

```text
스키마 진화 → 기존 producer/consumer를 망가뜨리지 않고 시간에 따라 스키마 변경:
  → registry가 호환성 규칙 강제(backward/forward 호환 변경):
    - BACKWARD 호환 → 새 consumer가 옛 데이터를 읽을 수 있음(예: 선택적 필드 추가)
    - FORWARD 호환 → 옛 consumer가 새 데이터를 읽을 수 있음
  → 파이프라인을 망가뜨릴 비호환 변경 방지
→ 많은 producer/consumer가 있는 시스템에서 데이터 형식을 안전하게 진화시키는 데 핵심
```

## 왜 중요한가

schema registry를 이해하는 것은 가치 있습니다. 이는 Kafka 시스템에서 **데이터 일관성과 안전한 진화를 보장**하는 중요한 관심사이므로 프로덕션 Kafka에 관련된 지식이기 때문입니다.

Kafka 메시지는 단지 바이트이므로 producer와 consumer가 데이터 구조에 합의해야 하며, 관리 없이는 형식 변경이 consumer를 망가뜨릴 수 있어 consumer가 구조를 어떻게 알고 어떻게 안전하게 바꾸는지의 질문이 제기됩니다.

**schema registry**는 메시지 스키마를 중앙에서 관리하여 이를 해결합니다.

**하는 일**(스키마 저장 및 관리(Avro, Protobuf, JSON Schema로 메시지 구조 정의), producer와 consumer가 일관된 직렬화/역직렬화를 위해 스키마 참조, 스키마 강제(데이터 검증과 consumer의 메시지 파싱 가능))을 이해하면 producer와 consumer 간 일관된 데이터 계약을 어떻게 보장하는지 명확해집니다.

가장 중요하게, **스키마 진화**를 이해하는 것이 핵심 이점입니다. 기존 producer와 consumer를 **망가뜨리지 않고 시간에 따라 스키마를 변경**하며, registry가 **호환성 규칙**(새 consumer가 옛 데이터를 읽는 backward 호환성, 옛 consumer가 새 데이터를 읽는 forward 호환성)을 강제하고 파이프라인을 망가뜨릴 비호환 변경을 방지합니다.

이 안전한 진화는 많은 producer와 consumer가 데이터를 공유하고 형식이 조정된 호환성 깨짐 변경 없이 진화해야 하는 실제 시스템에서 결정적입니다 — schema registry가 해결하는 진짜 중요한 과제입니다.

schema registry를 이해하는 것은 다중 producer와 consumer가 있는 프로덕션 Kafka 시스템에서 중요한 데이터 일관성과 호환성 관심사에 대한 인식을 반영합니다.

데이터 일관성과 안전한 스키마 진화는 Kafka 시스템에서 중요한 관심사(producer와 consumer가 구조에 합의해야 하고 형식이 안전하게 진화해야 함)이며 schema registry가 이를 관리(스키마와 호환성을 강제하여 안전한 진화)하고 이를 이해하는 것이 프로덕션 Kafka에 관련되므로, schema registry를 이해하는 것은 가치 있고 실용적으로 관련된 지식입니다.