অভ্যন্তরীণভাবে, কাফকা ডেটা সংরক্ষণ করে একটি append-only log হিসেবে ডিস্কে (segments-এ সংগঠিত), কার্যকর I/O techniques ব্যবহার করে, এবং ক্লাস্টার metadata পরিচালনা করে ZooKeeper-এর মাধ্যমে (ঐতিহাসিকভাবে) অথবা KRaft-এর মাধ্যমে (বর্তমানে)। কাফকার অভ্যন্তরীণ কাজ বোঝা এর আচরণ এবং কর্মক্ষমতা সম্পর্কে গভীর বোঝাপড়া বৃদ্ধি করে।
কমিট লগ স্টোরেজ
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
→ new events are APPENDED to the end (sequential writes → fast)
→ events are immutable once written; identified by OFFSET
→ old segments are deleted (retention) or compacted
→ an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
