1億件以上のレコードに対する全文検索をどのように構築しますか？

Question

IT Interview Practice · Accepted Answer

専用の検索エンジン — **転置インデックス上に構築されたElasticsearch/OpenSearch** — を使い、**CDC**経由でソースDBから供給し、スケールのためにインデックスをシャーディングします。プライマリデータベース（Postgres/MySQL）は数億行に対する関連度ランク付きのテキスト検索ができません。`LIKE '%term%'` はすべての行をスキャンします。検索エンジンは問題を反転させます。

```text
Source DB ─▶ CDC (Debezium) ─▶ Kafka ─▶ Indexer ─▶ Elasticsearch/OpenSearch
(Postgres)   (change stream)                        ├─ Shard 0 (inverted index) + replicas
                                                     ├─ Shard 1
Query ─▶ Coordinator ─▶ scatter to shards ─▶ gather ─┴─ Shard N ── ranked by BM25
```

## 転置インデックス — なぜ速いのか

通常のインデックスは行 → 値をマッピングします。**転置インデックス**は*用語（term） → その用語を含む文書のリスト*をマッピングします。「database scaling」の検索は2つの短いポスティングリストを引いて交差させます。全文書のO(all docs)ではなく、一致文書のO(matching docs)です。これが1億以上の文書に対するサブ100ms検索を可能にします。テキストはまず**解析（analyze）**されます。トークン化、小文字化、ステミング（「running」 → 「run」）、ストップワード除去 — これでクエリがバリエーションに一致します。

## CDCによる取り込み

ダブルライト（アプリがDB*と*ESに書く）はしないでください。障害時に不整合が残ります。代わりに**Change Data Capture**で変更をストリーミングします。**Debezium**がDBのwrite-ahead logを追い、行の変更を**Kafka**に発行し、indexerがそれをElasticsearchに適用します。これで検索はソースと**結果整合**に保たれ、ESのダウンタイムにも耐えます（イベントはKafkaからリプレイ）。

## シャーディングと関連度

インデックスは**シャード**（各々が自己完結したLuceneインデックス）に分割され、ノードに分散されます。**レプリカ**が読み取りスループットとHAを追加します。クエリは全シャードにscatterし、各々がtop-kを返し、コーディネーターがマージします。関連度はデフォルトで**BM25** — 用語頻度 × 逆文書頻度 — を使い、ブースト、シノニム、フィールド重みで調整できます。

## 面接での観点

面接官は、あなたが (1) `LIKE` ではなく適切なツールに手を伸ばすか、(2) 転置インデックスが*どう*動くかを知っているか、(3) ダブルライトなしで**同期問題**を解決するかを確認します。良い：「Elasticsearchを使う」。優れた：取り込みにCDC/Debezium、ランキングにBM25を挙げ、スケールのトレードとして結果整合を受け入れることです。

**よくある罠：** Elasticsearchを真実の源として扱うこと。それは派生インデックスであり、DBのように耐久的/トランザクショナルではありません。必要ならソースから再構築します。

## トレードオフと障害モード

- **結果整合：** 検索はCDCパイプラインのレイテンシ（通常サブ秒）だけ書き込みに遅れる。
- **再インデックスの苦痛：** マッピング/アナライザーの変更にはフル再インデックスが必要。ゼロダウンタイムの切り替えにはaliasを使う。
- **深いページネーション：** 10,000ページ目は高コスト（scatter-gather）。`from/size` ではなく `search_after` を使う。
- **ホットシャード / 偏り：** 文書分布が不均等。良いルーティングキーと十分なシャード数を最初に選ぶ（作成時に固定される）。
- **関連度チューニングは継続的：** BM25のデフォルトはビジネス意図に合うことは稀。反復を見込む。

転置インデックス — なぜ速いのか

CDCによる取り込み

シャーディングと関連度

面接での観点

トレードオフと障害モード

関連する質問