Conas a thógann tú cuardach lántéacs thar 100M+ taifead?

Question

IT Interview Practice · Accepted Answer

Úsáid inneall cuardaigh tiomnaithe — **Elasticsearch/OpenSearch tógtha ar innéacs inbhéartaithe** — arna bheathú ó do fhoinse-DB trí **CDC**, agus sciar an t-innéacs le haghaidh scála. Ní féidir le do phríomhbhunachar sonraí (Postgres/MySQL) cuardach téacs rangaithe ábharthachta a dhéanamh thar na céadta milliún rón; scanann `LIKE '%term%'` gach rón. Inbhéartaíonn inneall cuardaigh an fhadhb.

```text
Source DB ─▶ CDC (Debezium) ─▶ Kafka ─▶ Indexer ─▶ Elasticsearch/OpenSearch
(Postgres)   (change stream)                        ├─ Shard 0 (inverted index) + replicas
                                                     ├─ Shard 1
Query ─▶ Coordinator ─▶ scatter to shards ─▶ gather ─┴─ Shard N ── ranked by BM25
```

## Innéacs inbhéartaithe — cén fáth a bhfuil sé tapa

Mapálann gnáthinnéacs rón → luachanna. Mapálann **innéacs inbhéartaithe** *téarma → liosta doiciméad ina bhfuil sé*. Cuardaíonn "database scaling" dhá liosta postála ghearr agus déanann sé trasnú orthu — O(doiciméid mheaitseála), ní O(gach doiciméad). Is é seo a dhéanann cuardach fo-100ms thar 100M+ doiciméad indéanta. **Anailísítear** téacs ar dtús: comharthaítear, ísealchásaítear, gasaítear ("running" → "run"), scaoiltear stadfhocail — ionas go meaitseálann ceisteanna leaganacha.

## Ionsú trí CDC

Ná déan scríbhinn dhúbailte (scríobhann feidhmchlár DB *agus* ES) — fágann teip neamhchomhsheasmhach iad. Ina áit sin, sruthaigh athruithe le **Change Data Capture**: leanann **Debezium** loga scríbhinn-chun-tosaigh an DB, foilsíonn sé athruithe rónna chuig **Kafka**, agus cuireann innéacsóir iad i bhfeidhm ar Elasticsearch. Coinníonn sé seo cuardach **comhsheasmhach sa deireadh** leis an bhfoinse agus maireann sé bristeacht ES (athsheinntear imeachtaí ó Kafka).

## Sharding & ábharthacht

Roinntear an t-innéacs ina **sciartha** (gach ceann ina innéacs Lucene féinchuimsitheach), scaipthe thar nóid; cuireann **macasamhla** throughput léimh agus HA leis. Scaipeann ceist chuig gach sciar, filleann gach ceann a top-k, agus cumascann an comhordaitheoir. Úsáideann ábharthacht **BM25** de réir réamhshocraithe — minicíocht téarma × minicíocht inbhéartaithe doiciméid — intiúnta le borrthaí, comhchiallaigh agus meáchain réimse.

## Dearcadh agallaimh

Seiceálann agallóirí an (1) dtéann tú i muinín na huirlise cirte in ionad `LIKE`, (2) an bhfuil a fhios agat *conas* a oibríonn an t-innéacs inbhéartaithe, agus (3) an réitíonn tú an **fhadhb sioncronaithe** gan scríbhinní dúbailte. Maith: "úsáid Elasticsearch." Iontach: ainmníonn tú CDC/Debezium do ionsú, BM25 do rangú, agus glacann tú le comhsheasmhacht sa deireadh mar an idirbhabhtáil don scála.

**Gaiste coitianta:** Elasticsearch a chaitheamh mar d'fhoinse fírinne. Is innéacs díorthaithe é — ní marthanach/idirbheartúil cosúil le do DB. Atóg ón bhfoinse é nuair a theastaíonn sé.

## Idirbhabhtálacha agus móid teipe

- **Comhsheasmhacht sa deireadh:** téann cuardach ar gcúl ó scríbhinní le foilleadh na píblíne CDC (fo-shoicind de ghnáth).
- **Pian athinnéacsaithe:** teastaíonn athinnéacsú iomlán ó athruithe mapála/anailíseora — úsáid ailiasanna le haghaidh malartaithe gan aga neamhfhónaimh.
- **Leathanú domhain:** tá leathanach 10,000 costasach (scaipeadh-cnuasach) — úsáid `search_after`, ní `from/size`.
- **Sciar te / sceabhadh:** dáileadh doiciméad neamhchothrom; roghnaigh eochair ródaithe mhaith agus go leor sciartha roimh ré (tá siad seasta ag cruthú).
- **Tá tiúnadh ábharthachta leanúnach:** is annamh a mheaitseálann réamhshocraithe BM25 rún gnó — bí ag súil le atriail.

Innéacs inbhéartaithe — cén fáth a bhfuil sé tapa

Ionsú trí CDC

Sharding & ábharthacht

Dearcadh agallaimh

Idirbhabhtálacha agus móid teipe

Ceisteanna gaolmhara