Stream transaction ผ่าน Kafka เข้าสู่ stream processor ที่ pre-aggregate ลงใน OLAP store เพื่อให้ dashboard อ่าน rollup ที่คำนวณไว้ล่วงหน้าขนาดจิ๋ว แทนที่จะสแกน event ดิบ ที่ระดับหลายล้าน txn/วัน คุณไม่รัน SUM() บนตารางดิบทุกครั้งที่โหลดหน้า — คุณ aggregate หนึ่งครั้งตอนเขียน
สถาปัตยกรรม
text
Payment svc ──▶ Kafka topic ──▶ Flink/Kafka Streams ──┬─▶ OLAP (ClickHouse/Druid) ◀── Dashboard
(txn events) (buffer,replay) (windowed pre-agg) │ (per-minute rollups) (read)
└─▶ S3/Parquet (raw, replay/audit)
state store ◀──────────┘ (exactly-once checkpoints)