1日数百万件のトランザクションにわたるリアルタイム売上分析：どうしますか？

Question

IT Interview Practice · Accepted Answer

**トランザクションをKafka経由でストリームプロセッサに流し、OLAPストアに事前集計させることで、ダッシュボードは生イベントをスキャンする代わりに極小の事前計算されたロールアップを読みます。** 1日数百万トランザクションでは、ページ読み込みごとに生テーブルに `SUM()` を実行することは決してしません。書き込み時に一度集計します。

## アーキテクチャ

```text
Payment svc ──▶ Kafka topic ──▶ Flink/Kafka Streams ──┬─▶ OLAP (ClickHouse/Druid)  ◀── Dashboard
 (txn events)   (buffer,replay)   (windowed pre-agg)    │      (per-minute rollups)     (read)
                                                         └─▶ S3/Parquet (raw, replay/audit)
                                     state store ◀──────────┘  (exactly-once checkpoints)
```

## 仕組み

- **Kafka** は耐久的なログです。すべての支払いがイベント（`amount`、`currency`、`ts`、`merchant`）を発行します。スパイクをバッファリングし、プロデューサーをconsumerから分離し、集計を再構築するために履歴を**リプレイ**できます。
- **ストリームプロセッサ（Flink / Kafka Streams）** は**タンブリング/スライディングウィンドウ**（分/時間ごと）を保持し、各イベントを**state store**内の累計に畳み込みます。出力は (minute, dimension) ごとの事前集計行です。
- **OLAPストア（ClickHouse、Druid、Pinot）** はそれらのロールアップをカラムナに保存します。「直近24hの売上」をクエリするダッシュボードは数百万行ではなく約1,440行をスキャンします。サブ秒です。
- ClickHouseの**マテリアライズドビュー**は、可動部を減らしたいなら同じロールアップをDB内で行えます（`AggregatingMergeTree`）。

## 面接での観点

面接官は、あなたが**書き込み時の事前集計対読み取り時のスキャン**を理解しているか、そして**exactly-once**を理解しているかを探ります。良い回答はKafka + OLAPを挙げます。優れた回答は、**なぜ遅延/重複イベントが合計を破損するか**と、その修正方法を説明します：冪等キー、exactly-onceのためのFlink**チェックポイント + トランザクショナルシンク**、遅延到着にもかかわらずウィンドウを閉じる**ウォーターマーク**。よくある罠は、Postgresで `SELECT SUM()` を提案することです。1日数千件なら問題ないが、数百万件では崩壊します。

## トレードオフと障害

- **Lambda対Kappa。** Lambdaはバッチ層（夜間のSparkが真実の源を照合）をストリーム層（高速だが近似）と並べて実行します。正確だが2つのコードベースです。**Kappa**はストリーム層のみを使い、バグ修正のために**Kafkaをリプレイ**します。よりシンプルで単一コードベース、今では一般的なデフォルトです。
- **exactly-onceはタダではない。** トランザクショナルシンクはレイテンシとスループットのコストを追加します。多くのチームは代わりに `txn_id` をキーとする**at-least-once + 冪等upsert**を受け入れます。
- **遅延データ。** 2時間遅れて確定する支払いは、ウィンドウが閉じた後に着地します。ウォーターマーク + 許容遅延がウィンドウを再オープンするか、夜間バッチジョブが昨日の数字を修正します。
- **複数通貨 / 返金** は符号付きイベントとしてモデル化しないと、「売上」がドリフトします。
- **不要な場合：** 1日数千トランザクションならこれは一切不要です。cronで更新するPostgresのロールアップテーブルの方が、運用が必要なKafka+Flinkクラスタに勝ります。

アーキテクチャ

仕組み

面接での観点

トレードオフと障害

関連する質問