Kako izgraditi full-text pretragu preko 100M+ zapisa?

Question

IT Interview Practice · Accepted Answer

Koristite namjenski search engine — **Elasticsearch/OpenSearch izgrađen na inverted indexu** — hranjen iz vaše izvorne baze putem **CDC-a**, i shardirajte indeks za skalu. Vaša primarna baza (Postgres/MySQL) ne može raditi relevance-ranked tekstualnu pretragu preko stotina milijuna redaka; `LIKE '%term%'` skenira svaki redak. Search engine izokreće problem.

```text
Source DB ─▶ CDC (Debezium) ─▶ Kafka ─▶ Indexer ─▶ Elasticsearch/OpenSearch
(Postgres)   (change stream)                        ├─ Shard 0 (inverted index) + replicas
                                                     ├─ Shard 1
Query ─▶ Coordinator ─▶ scatter to shards ─▶ gather ─┴─ Shard N ── ranked by BM25
```

## Inverted index — zašto je brz

Normalan indeks mapira redak → vrijednosti. **Inverted index** mapira *pojam → popis dokumenata koji ga sadrže*. Pretraga "database scaling" traži dvije kratke posting liste i presijeca ih — O(odgovarajući dokumenti), ne O(svi dokumenti). To omogućuje pretragu ispod 100 ms preko 100M+ dokumenata. Tekst se prvo **analizira**: tokenizira, prebacuje u mala slova, stemira ("running" → "run"), izbacuju se stopwordovi — pa upiti pogađaju varijante.

## Unos putem CDC-a

Nemojte dual-writeati (aplikacija upisuje u DB *i* ES) — neuspjeh ih ostavlja nekonzistentnima. Umjesto toga, streamajte promjene s **Change Data Capture**: **Debezium** prati write-ahead log baze, objavljuje promjene redaka u **Kafku**, a indexer ih primjenjuje na Elasticsearch. To drži pretragu **eventualno konzistentnom** s izvorom i preživljava ES nedostupnost (događaji se replayaju iz Kafke).

## Sharding i relevantnost

Indeks se dijeli na **shardove** (svaki samostalni Lucene indeks), raspoređene preko čvorova; **replike** dodaju read throughput i HA. Upit se scatterira na sve shardove, svaki vraća svoj top-k, a koordinator spaja. Relevantnost prema zadanom koristi **BM25** — term frequency × inverse document frequency — podesivo boostovima, sinonimima i težinama polja.

## Perspektiva intervjua

Ispitivači provjeravaju (1) posežete li za pravim alatom umjesto `LIKE`, (2) znate li *kako* inverted index radi i (3) rješavate li **problem sinkronizacije** bez dual-writeova. Dobro: "koristi Elasticsearch." Odlično: imenujete CDC/Debezium za unos, BM25 za rangiranje i prihvaćate eventualnu konzistentnost kao kompromis za skalu.

**Uobičajena zamka:** tretiranje Elasticsearcha kao izvora istine. To je izvedeni indeks — nije trajan/transakcijski poput vaše baze. Ponovno ga izgradite iz izvora kad zatreba.

## Kompromisi i načini otkazivanja

- **Eventualna konzistentnost:** pretraga zaostaje za upisima za latenciju CDC pipelinea (obično ispod sekunde).
- **Bol reindeksiranja:** promjene mappinga/analyzera trebaju puni reindeks — koristite aliase za zamjenu bez downtimea.
- **Duboka paginacija:** stranica 10.000 je skupa (scatter-gather) — koristite `search_after`, ne `from/size`.
- **Vrući shard / neravnomjernost:** neravnomjerna distribucija dokumenata; odaberite dobar routing key i dovoljno shardova unaprijed (fiksni su pri kreiranju).
- **Podešavanje relevantnosti je trajno:** BM25 zadane vrijednosti rijetko odgovaraju poslovnoj namjeri — očekujte iteraciju.

Inverted index — zašto je brz

Unos putem CDC-a

Sharding i relevantnost

Perspektiva intervjua

Kompromisi i načini otkazivanja

Povezana pitanja