Internamente, Kafka almacena datos como un log de solo adición en disco (organizado en segmentos), utiliza técnicas de E/S eficientes y gestiona metadatos de cluster a través de ZooKeeper (históricamente) o KRaft (actualmente). Comprender el funcionamiento interno profundiza la comprensión del comportamiento y el rendimiento de Kafka.
Almacenamiento de log de confirmación
Each partition is an append-only LOG stored on disk, split into SEGMENTS (files):
→ new events are APPENDED to the end (sequential writes → fast)
→ events are immutable once written; identified by OFFSET
→ old segments are deleted (retention) or compacted
→ an INDEX maps offsets to file positions (fast lookups)
→ the append-only log is the core of Kafka's design (durable, sequential, efficient)
