স্কিমা রেজিস্ট্রি কী এবং এটি কেন গুরুত্বপূর্ণ?

Question

Accepted Answer

একটি **স্কিমা রেজিস্ট্রি** Kafka বার্তাগুলির জন্য **ডেটা স্কিমা** পরিচালনা করে — ইভেন্ট ডেটার কাঠামো সংজ্ঞায়িত এবং প্রয়োগ করে, নিরাপদে **স্কিমা বিবর্তন** সক্ষম করে। এটি প্রযোজক এবং ভোক্তাদের মধ্যে ডেটা সামঞ্জস্য এবং সামঞ্জস্যের জন্য গুরুত্বপূর্ণ।

## সমস্যা: বার্তায় ডেটা কাঠামো

```text
Kafka messages are just bytes → producers and consumers must AGREE on the data structure:
  → without management → producers might change the format, breaking consumers
  → how do consumers know the structure? how do you change it safely?
→ a SCHEMA REGISTRY manages this.
```

## একটি স্কিমা রেজিস্ট্রি কী করে

```text
SCHEMA REGISTRY → a central service storing and managing message SCHEMAS:
  → defines the STRUCTURE of message data (fields, types) — e.g. with AVRO, Protobuf, JSON Schema
  → producers/consumers reference schemas (by ID) → consistent serialization/deserialization
  → ENFORCES schemas → validates data conforms; consumers know how to parse messages
→ ensures producers and consumers share a consistent, evolving contract
```

## স্কিমা বিবর্তন (মূল সুবিধা)

```text
SCHEMA EVOLUTION → change schemas over time WITHOUT breaking existing producers/consumers:
  → the registry enforces COMPATIBILITY rules (backward/forward compatible changes):
    - BACKWARD compatible → new consumers can read old data (e.g. add an optional field)
    - FORWARD compatible → old consumers can read new data
  → prevents incompatible changes that would break the pipeline
→ critical for evolving data formats safely in a system with many producers/consumers
```

## এটি কেন গুরুত্বপূর্ণ

স্কিমা রেজিস্ট্রি বোঝা মূল্যবান কারণ এটি **ডেটা সামঞ্জস্য এবং নিরাপদ বিবর্তন নিশ্চিত করে** Kafka সিস্টেমে, একটি গুরুত্বপূর্ণ বিষয়, তাই এটি উৎপাদন Kafka এর জন্য প্রাসঙ্গিক জ্ঞান।

যেহেতু Kafka বার্তাগুলি শুধুমাত্র বাইট, প্রযোজক এবং ভোক্তাদের অবশ্যই ডেটা কাঠামোর সাথে সম্মত হতে হবে — এবং ব্যবস্থাপনা ছাড়াই, ফর্ম্যাট পরিবর্তনগুলি ভোক্তাদের ভেঙে দিতে পারে, যা এই প্রশ্নগুলি উত্থাপন করে যে ভোক্তারা কীভাবে কাঠামো জানে এবং এটি নিরাপদে কীভাবে পরিবর্তন করতে হয়।

একটি **স্কিমা রেজিস্ট্রি** কেন্দ্রীয়ভাবে বার্তা স্কিমা পরিচালনা করে এটি সমাধান করে।

**এটি কী করে** তা বোঝা — স্কিমা সঞ্চয় এবং পরিচালনা করা (Avro, Protobuf বা JSON Schema দিয়ে বার্তা কাঠামো সংজ্ঞায়িত করে), প্রযোজক এবং ভোক্তা সামঞ্জস্যপূর্ণ সিরিয়ালাইজেশন/ডিসেরিয়ালাইজেশনের জন্য স্কিমা রেফার করে, এবং স্কিমা প্রয়োগ করে (ডেটা যাচাই করে এবং ভোক্তাদের বার্তা পার্স করতে সক্ষম করে) — এটি স্পষ্ট করে যে এটি প্রযোজক এবং ভোক্তাদের মধ্যে একটি সামঞ্জস্যপূর্ণ ডেটা চুক্তি নিশ্চিত করে।

সবচেয়ে গুরুত্বপূর্ণভাবে, **স্কিমা বিবর্তন** বোঝা মূল সুবিধা: সময়ের সাথে স্কিমা পরিবর্তন করা **বিদ্যমান প্রযোজক এবং ভোক্তাদের ভেঙে না দিয়ে**, রেজিস্ট্রি **সামঞ্জস্যতা নিয়ম** প্রয়োগ করে (পিছিয়ে সামঞ্জস্য যাতে নতুন ভোক্তারা পুরানো ডেটা পড়তে পারে, এগিয়ে সামঞ্জস্য যাতে পুরানো ভোক্তারা নতুন ডেটা পড়তে পারে) এবং অসামঞ্জস্যপূর্ণ পরিবর্তনগুলি প্রতিরোধ করে যা পাইপলাইন ভেঙে দেবে।

এই নিরাপদ বিবর্তন প্রকৃত সিস্টেমে গুরুত্বপূর্ণ যেখানে অনেক প্রযোজক এবং ভোক্তা ডেটা শেয়ার করে এবং ফর্ম্যাটগুলি সমন্বিত ব্রেকিং পরিবর্তন ছাড়াই বিকশিত হতে হবে — একটি প্রকৃত, গুরুত্বপূর্ণ চ্যালেঞ্জ যা স্কিমা রেজিস্ট্রি সমাধান করে।

স্কিমা রেজিস্ট্রি বোঝা উৎপাদন Kafka সিস্টেমে গুরুত্বপূর্ণ ডেটা-সামঞ্জস্য এবং সামঞ্জস্য উদ্বেগের সচেতনতা প্রতিফলিত করে।

যেহেতু ডেটা সামঞ্জস্য এবং নিরাপদ স্কিমা বিবর্তন Kafka সিস্টেমে গুরুত্বপূর্ণ উদ্বেগ (যেখানে প্রযোজক এবং ভোক্তাদের অবশ্যই কাঠামোতে সম্মত হতে হবে এবং ফর্ম্যাটগুলি নিরাপদে বিকশিত হতে হবে), এবং যেহেতু একটি স্কিমা রেজিস্ট্রি এটি পরিচালনা করে (নিরাপদ বিবর্তনের জন্য স্কিমা এবং সামঞ্জস্য প্রয়োগ করে), এবং যেহেতু এটি বোঝা উৎপাদন Kafka এর জন্য প্রাসঙ্গিক, স্কিমা রেজিস্ট্রি বোঝা মূল্যবান, ব্যবহারিকভাবে-প্রাসঙ্গিক জ্ঞান — Kafka সিস্টেমে ডেটা সামঞ্জস্য এবং নিরাপদ স্কিমা বিবর্তন নিশ্চিত করার জন্য গুরুত্বপূর্ণ (একাধিক প্রযোজক/ভোক্তাদের সাথে একটি বাস্তব উদ্বেগ), পাইপলাইন ভেঙে না দিয়ে ফর্ম্যাটগুলি বিকশিত করতে সক্ষম করে, এবং শক্তিশালী, বিকাশযোগ্য Kafka-ভিত্তিক ডেটা সিস্টেম তৈরির জন্য প্রাসঙ্গিক।