Kif tibni full-text search fuq 100M+ record?

Question

IT Interview Practice · Accepted Answer

Uża search engine dedikat — **Elasticsearch/OpenSearch mibni fuq inverted index** — mitmugħ mis-source DB tiegħek permezz ta' **CDC**, u agħmel shard tal-index għall-iskala. Id-database primarju tiegħek (Postgres/MySQL) ma jistax jagħmel text search ibbażat fuq ir-relevanza fuq mijiet ta' miljuni ta' rows; `LIKE '%term%'` jagħmel scan ta' kull row. Search engine jaqleb il-problema.

```text
Source DB ─▶ CDC (Debezium) ─▶ Kafka ─▶ Indexer ─▶ Elasticsearch/OpenSearch
(Postgres)   (change stream)                        ├─ Shard 0 (inverted index) + replicas
                                                     ├─ Shard 1
Query ─▶ Coordinator ─▶ scatter to shards ─▶ gather ─┴─ Shard N ── ranked by BM25
```

## Inverted index — għaliex huwa mgħaġġel

Index normali jimmappja row → valuri. **Inverted index** jimmappja *term → lista ta' dokumenti li fihom*. Li tfittex "database scaling" tfittex żewġ posting lists qosra u tinterseċahom — O(dokumenti li jaqblu), mhux O(dokumenti kollha). Dan hu li jagħmel search sub-100ms fuq 100M+ dokument possibbli. It-test l-ewwel jiġi **analizzat**: tokenized, lowercased, stemmed ("running" → "run"), stopwords imwarrba — biex il-queries jaqblu ma' varjanti.

## Inġestjoni permezz ta' CDC

Tagħmilx dual-write (l-app tikteb id-DB *u* l-ES) — fallimenti jħallihom inkonsistenti. Minflok, agħmel stream tal-bidliet b'**Change Data Capture**: **Debezium** isegwi l-write-ahead log tad-DB, jippubblika l-bidliet tar-rows lejn **Kafka**, u indexer japplikahom għal Elasticsearch. Dan iżomm is-search **eventually consistent** mas-source u jissopravvivi downtime tal-ES (l-events jagħmlu replay minn Kafka).

## Sharding u relevanza

L-index huwa maqsum f'**shards** (kull wieħed Lucene index awtonomu), mifruxa fuq in-nodes; **replicas** iżidu read throughput u HA. Query tinfirex fuq l-shards kollha, kull wieħed jirritorna t-top-k tiegħu, u l-coordinator jgħaqqad. Ir-relevanza tuża **BM25** by default — term frequency × inverse document frequency — li tista' tirfina b'boosts, synonyms, u field weights.

## Perspettiva tal-intervista

L-intervistaturi jiċċekkjaw jekk (1) taqbadx l-għodda t-tajba minflok `LIKE`, (2) tafx *kif* jaħdem l-inverted index, u (3) issolvix il-**problema tas-sync** mingħajr dual-writes. Tajjeb: "uża Elasticsearch." Eċċellenti: issemmi CDC/Debezium għall-inġestjoni, BM25 għar-ranking, u taċċetta eventual consistency bħala t-trade għall-iskala.

**Nassa komuni:** li tittratta Elasticsearch bħala s-source of truth tiegħek. Huwa index derivat — mhux durabbli/transazzjonali bħad-DB tiegħek. Erġa' ibnih mis-source meta jkun meħtieġ.

## Trade-offs u modi ta' fallimenti

- **Eventual consistency:** is-search jaqa' lura mill-writes bil-latenza tal-pipeline tal-CDC (normalment sub-sekonda).
- **Uġigħ tar-reindex:** bidliet fil-mapping/analyzer jeħtieġu reindex sħiħ — uża aliases għal swaps mingħajr downtime.
- **Deep pagination:** paġna 10,000 hija għalja (scatter-gather) — uża `search_after`, mhux `from/size`.
- **Hot shard / skew:** distribuzzjoni mhux uniformi tad-dokumenti; agħżel routing key tajjeb u biżżejjed shards minn qabel (huma fissi mal-ħolqien).
- **Ir-relevance tuning huwa kontinwu:** id-defaults ta' BM25 rarament jaqblu mal-intenzjoni tan-negozju — stenna iterazzjoni.

Inverted index — għaliex huwa mgħaġġel

Inġestjoni permezz ta' CDC

Sharding u relevanza

Perspettiva tal-intervista

Trade-offs u modi ta' fallimenti

Mistoqsijiet relatati