Kafka içsel olarak verileri diskte append-only log (segmentler halinde organize edilmiş) olarak depolar, verimli I/O teknikleri kullanır ve küme meta verilerini ZooKeeper (tarihsel olarak) veya KRaft (şu anda) aracılığıyla yönetir. İç işleyişi anlamak Kafka'nın davranışı ve performansı hakkında daha derin bir anlayış sağlar.
Commit log depolama
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
→ new events are APPENDED to the end (sequential writes → fast)
→ events are immutable once written; identified by OFFSET
→ old segments are deleted (retention) or compacted
→ an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
