কাফকা অভ্যন্তরীণভাবে কীভাবে কাজ করে (লগ স্টোরেজ, ZooKeeper/KRaft)?

Question

Accepted Answer

অভ্যন্তরীণভাবে, কাফকা ডেটা সংরক্ষণ করে একটি **append-only log** হিসেবে ডিস্কে (segments-এ সংগঠিত), কার্যকর I/O techniques ব্যবহার করে, এবং ক্লাস্টার metadata পরিচালনা করে **ZooKeeper**-এর মাধ্যমে (ঐতিহাসিকভাবে) অথবা **KRaft**-এর মাধ্যমে (বর্তমানে)। কাফকার অভ্যন্তরীণ কাজ বোঝা এর আচরণ এবং কর্মক্ষমতা সম্পর্কে গভীর বোঝাপড়া বৃদ্ধি করে।

## কমিট লগ স্টোরেজ

```text
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
  → new events are APPENDED to the end (sequential writes → fast)
  → events are immutable once written; identified by OFFSET
  → old segments are deleted (retention) or compacted
  → an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
```

## দক্ষতা কৌশল

```text
✓ SEQUENTIAL I/O → appending to a log is sequential disk access → very fast (vs random I/O)
✓ ZERO-COPY (sendfile) → transfer data from disk to network WITHOUT copying through the app
  → highly efficient reads
✓ OS PAGE CACHE → Kafka relies on the OS cache (recent data in memory) rather than its own
  cache → fast reads of recent data
✓ Batching, compression → efficient I/O
→ these make Kafka extremely fast despite using disk
```

## ক্লাস্টার সমন্বয়: ZooKeeper → KRaft

```text
Kafka needs to manage: cluster METADATA, broker membership, leader ELECTION, configs:
  → ZOOKEEPER (historically) → a separate system Kafka used for coordination/metadata
  → KRAFT (KIP-500, now) → Kafka's OWN built-in consensus (Raft) → removes the ZooKeeper
    dependency → simpler ops, better scalability (the modern approach)
→ Kafka is moving to KRaft (self-managed metadata, no separate ZooKeeper)
```

## কেন এটি গুরুত্বপূর্ণ

কাফকা কীভাবে অভ্যন্তরীণভাবে কাজ করে তা বোঝা মূল্যবান সিনিয়র-স্তরের জ্ঞান কারণ এটি **কাফকার আচরণ এবং কর্মক্ষমতা সম্পর্কে গভীর বোঝাপড়া প্রদান করে**, পরিশীলিত জ্ঞান প্রতিফলিত করে।

কাফকার অভ্যন্তরীণ বিষয় বোঝা ব্যাখ্যা করে এটি কেন যেভাবে আচরণ করে এবং সেভাবে কর্মক্ষমতা প্রদর্শন করে।

**কমিট লগ স্টোরেজ** বোঝা — প্রতিটি partition হওয়া একটি append-only log যা ডিস্কে segments-এ বিভক্ত, events যা ক্রমিকভাবে যোগ করা হয় (দ্রুত লেখা), offset দ্বারা চিহ্নিত, লেখার পরে অপরিবর্তনীয়, এবং পুরানো segments মুছে ফেলা বা compacted হয়, দ্রুত offset lookups-এর জন্য একটি index সহ — কাফকার মূল স্টোরেজ ডিজাইন ব্যাখ্যা করে (append-only log হওয়া এর স্থায়িত্ব এবং দক্ষতার জন্য মৌলিক)।

**দক্ষতা কৌশল** বোঝা — **sequential I/O** (যোগ করা হওয়া দ্রুত ক্রমিক ডিস্ক অ্যাক্সেস), **zero-copy** (ডেটা ডিস্ক থেকে নেটওয়ার্কে স্থানান্তর করা অ্যাপ্লিকেশনের মাধ্যমে কপি ছাড়াই, দক্ষ পড়ার জন্য), **OS page cache** (সাম্প্রতিক ডেটার দ্রুত পড়ার জন্য OS cache-এর উপর নির্ভর করা), এবং batching/compression — ব্যাখ্যা করে *কেন কাফকা এত দ্রুত ডিস্ক ব্যবহার সত্ত্বেও*, একটি মূল insight (কাফকা এই ডিজাইন পছন্দগুলির মাধ্যমে উচ্চ কর্মক্ষমতা অর্জন করে, ডিস্ক এড়িয়ে নয়)।

**ক্লাস্টার সমন্বয়** বোঝা — কাফকা metadata, broker membership, এবং leader election পরিচালনা করে **ZooKeeper**-এর মাধ্যমে ঐতিহাসিকভাবে অথবা **KRaft**-এর মাধ্যমে এখন (কাফকার নিজস্ব built-in Raft consensus যা ZooKeeper dependency সরিয়ে দেয় সহজ অপারেশন এবং ভাল স্কেলেবিলিটির জন্য, আধুনিক পদ্ধতি) — কাফকায় একটি গুরুত্বপূর্ণ স্থাপত্য বিবর্তন সম্পর্কে সচেতনতা প্রতিফলিত করে (KRaft-এ পদক্ষেপ, দীর্ঘস্থায়ী ZooKeeper dependency অপসারণ)।

এই অভ্যন্তরীণ বোঝা (লগ স্টোরেজ, দক্ষতা কৌশল, সমন্বয় বিবর্তন) কাফকার কর্মক্ষমতা, স্থায়িত্ব, এবং অপারেশন সম্পর্কে বোঝাপড়া গভীর করে, যারা কাফকা গভীরভাবে বোঝে তাদের আলাদা করে।

কাফকার অভ্যন্তরীণ বিষয় বোঝা (append-only লগ স্টোরেজ, দক্ষতা কৌশল যেমন sequential I/O এবং zero-copy যা এটি দ্রুত করে, এবং ZooKeeper-থেকে-KRaft সমন্বয় বিবর্তন) এর আচরণ, কর্মক্ষমতা, এবং অপারেশন সম্পর্কে বোঝাপড়া গভীর করে বলে, এবং এটি পরিশীলিত কাফকা জ্ঞান প্রতিফলিত করে বলে, কাফকা কীভাবে অভ্যন্তরীণভাবে কাজ করে তা বোঝা মূল্যবান সিনিয়র-স্তরের জ্ঞান — কাফকার কর্মক্ষমতা (ডিস্ক ব্যবহার সত্ত্বেও এটি দ্রুত কেন), স্থায়িত্ব (লগ), এবং অপারেশন (KRaft) সম্পর্কে বোঝাপড়া গভীর করে, পরিশীলিত বোঝা প্রতিফলিত করে যা গভীর কাফকা দক্ষতা পার্থক্য করে, এবং কাফকার আচরণ এবং আধুনিক KRaft স্থাপত্য সম্পর্কে যুক্তি দেওয়ার জন্য দরকারী।