パーティション はKafkaの設計の中心であり、並列性とスケーラビリティ(データと消費の分散)を実現しながら、各パーティション内での順序保証 を提供します。パーティションがKafkaをどのようにスケールし、イベントを順序付けするかを理解することは、Kafkaを理解するうえで重要です。
パーティションが並列性とスケールを実現
A topic is split into multiple PARTITIONS, distributed across brokers:
→ data is spread across partitions → distribute storage and load
→ CONSUMER PARALLELISM → each partition consumed by one consumer in a group →
more partitions = more parallel consumers = higher throughput
→ scale a topic by adding partitions (and consumers)
→ partitions are the unit of PARALLELISM and horizontal scaling in Kafka
