1日1億件のログイベントをどのように保存しますか？

**追記専用（append-only）パイプライン：エージェント → Kafka → 階層化ストレージ（ホットをClickHouse/ELK、コールドをオブジェクトストレージ）**を構築し、最近のデータをインデックスし残りを安価にアーカイブする保持ポリシーを設けます。1日1億イベントは平均約1,200/秒（スパイクははるかに高い）で日々数十〜数百GBです。OLTPのセマンティクスではなく、安価な書き込みと境界のあるクエリコストに最適化します。

App/agents ─▶ Kafka ─▶ Consumers ─┬─▶ ClickHouse / ELK   (hot: last 7–30d, indexed, fast search)
 (Fluent Bit)  (buffer,            │
                replay)            └─▶ S3/Parquet         (cold: 90d–years, cheap, scan-on-demand)
                                          │
                                   Lifecycle/tiering ─▶ Glacier (archive) ─▶ delete at retention

追記パイプライン

ログは書き込み一度きりで、決して更新されません。したがって取り込みパスはです。のようなエージェントが行をに送り、Kafkaがバーストをバッファリングしてプロデューサーをストレージから分離します。ClickHouseがメンテナンスでダウンしても、イベントはKafkaでキューイングされリプレイされます。ログを落としません。カラムナストアでは行ごとのINSERTがスループットを破壊するので、バッチ書き込み（INSERTごとに数千行）します。