Kafkaのパーティショニング戦略をどのように選択しますか?

Question

IT Interview Practice · Accepted Answer

**パーティショニング戦略** — イベントがトピックのパーティション全体にどのように分散されるか — はKafkaの重要な設計決定であり、**順序付け、並列性、負荷分散**に影響します。パーティションキーとパーティション数は慎重に選択する必要があります。

## パーティショニングの仕組み

```text
A producer's message goes to a partition based on:
  → with a KEY → hash(key) → determines the partition (same key → same partition consistently)
  → no key → distributed (round-robin / sticky) across partitions
→ the KEY choice determines ordering and distribution
```

## パーティションキーの選択

```text
The KEY determines two crucial things:
  ✓ ORDERING → all events with the same key go to the same partition → ordered together
    (e.g. key=userId → all of a user's events are ordered)
  ✓ DISTRIBUTION → keys should spread evenly across partitions (good cardinality) → balanced load
PITFALLS:
  ✗ LOW cardinality / skewed keys → HOT partitions (one partition overloaded) → bottleneck
  ✗ Wrong ordering scope → if you need per-X ordering, key by X (but that limits parallelism
    within X)
→ choose a key giving the ORDERING you need AND EVEN distribution
```

## パーティション数の選択

```text
✓ MORE partitions → more consumer parallelism (throughput), but more overhead/rebalancing
✓ Plan for GROWTH → partition count is hard to reduce; adding partitions breaks key→partition
  mapping (ordering) → size for future scale upfront
✓ Rough guide: enough partitions for peak consumer parallelism (target throughput / per-consumer)
```

## なぜ重要なのか

パーティショニング戦略の選択方法を理解することは価値があります。これは**Kafkaの重要な設計決定**であり、順序付け、並列性、負荷に影響するため、Kafkaトピックを適切に設計するために関連性があります。

パーティショニングはKafkaの中核であり、戦略（キーと数）の選択はシステムに大きく影響します。

**パーティショニングの仕組み** — メッセージがキーに基づいてパーティションに送られる（キーのハッシュなので、同じキーは常に同じパーティションに送られる）、またはキーなしでラウンドロビン形式で分散される — メカニズムを明確にします。

**パーティションキーの選択方法**を理解することは極めて重要な決定です。キーは**順序付け**（同じキーを持つすべてのイベントが同じパーティションに送られ、一緒に順序付けされる。例えば、ユーザーのイベントを順序付けするためにユーザーIDでキー付けする）と**分散**（キーがパーティション全体に均等に分散され、負荷が均衡する必要がある）を決定します。重要な落とし穴は、低カーディナリティまたはスキューされたキーが**ホットパーティション**（過負荷、ボトルネック）を引き起こし、誤った順序付けスコープを選択することです。

必要な順序付けと均等な分散を提供するキーを選択するというガイダンスが重要なスキルです。

**パーティション数の選択方法**を理解する — より多くのパーティションがより多くのコンシューマー並列性（スループット）を可能にしますが、オーバーヘッドを伴い、成長に向けた計画（パーティション数は削減が難しく、パーティションの追加はキーからパーティションへのマッピングを破壊し、したがって順序付けを破壊するため、事前に将来のスケールのためにサイズ決定する）、およおよそピークコンシューマー並列性のサイズ決定 — スケーラビリティに影響する数の決定を反映します。

これらのパーティショニング決定（順序付け/分散用のキー、並列性/成長用の数）は重要です。なぜなら、それらは重要な決定であり、後で変更が難しく、順序付けの正確性、負荷バランス、スケーラビリティに直接影響するためです。

パーティショニングは中核となる重要なKafka設計決定（順序付け、並列性、負荷に影響）であり、後で変更が難しく、パーティションキー（順序付けと均等な分散、ホットパーティション回避）と数（並列性と成長）の選択方法を理解することはトピックを適切に設計するために重要であるため、パーティショニング戦略の選択方法を理解することは価値のある、実践的に関連するKafkaの知識です — 順序付け、負荷分散、スケーラビリティに影響する重要で重要な設計決定であり、パーティションキーと数の慎重な選択が必要であり、正しく順序付けされ、負荷が均衡され、スケールするKafkaトピックを設計するために中核的です。

パーティショニングの仕組み

パーティションキーの選択

パーティション数の選択

なぜ重要なのか

関連する質問