Kaip veikia atvirkštinis indeksas?

Question

IT Interview Practice · Accepted Answer

**Atvirkštinis indeksas susieja terminą su jį turinčiais dokumentais.** Paieškos sistema randa kandidatus neskaitydama kiekvieno dokumento nuo pradžios iki galo per kiekvieną paiešką.

Įsivaizduokite rodyklę knygos gale: randate žodį ir atsiverčiate nurodytus puslapius. Paieškos sistemoje puslapių numerius pakeičia dokumentų identifikatoriai.

## 1. Pradėkite nuo mažos kolekcijos

Tarkime, turime tris dokumentus ir paprastą analizatorių, kuris paverčia tekstą mažosiomis raidėmis ir atskiria žodžius. Analizatorius — žingsnių rinkinys, paverčiantis tekstą paieškos terminais.

```text
D1: Red apple
D2: Green apple
D3: Red car

apple -> D1, D2
car   -> D3
green -> D2
red   -> D1, D3
```

Pradinė kryptis yra nuo dokumento į žodžius. Indeksas ją apverčia — nuo žodžio į dokumentus, todėl taip vadinamas. Kiekvieno termino dokumentų sąrašas vadinamas posting list.

## 2. Atsakykite į užklausą naudodami sąrašus

Jei reikia ir red, ir apple, skaitykite abu sąrašus ir palikite sankirtą: D1 yra abiejuose. Jei tinka bent vienas terminas, imkite sąjungą: kandidatai D1, D2 ir D3.

Pavyzdys paaiškina atitikimą, ne reitingavimą. Sutampantiems dokumentams sistema gali skirti balus pagal termino dažnį ir paplitimą kolekcijoje. Atitikmenų radimas ir jų eilės nustatymas yra susiję, bet atskiri žingsniai.

## 3. Suderinkite indeksavimą ir paiešką

Užklausa turi būti analizuojama suderinamai su indeksuotais terminais. Jei indeksuojant Red tampa red, o paieška ieško pažodinio Red, norimas atitikmuo gali būti praleistas.

Tinkama analizė priklauso nuo lauko. Produkto aprašymui tekstinė analizė naudinga; tiksliam užsakymo ID paprastai reikia tikslaus sutapimo. Skaidant ID į įprastus žodžius galima pakeisti jo prasmę. Žr. Elastic [viso teksto paieškos paaiškinimą](https://www.elastic.co/docs/solutions/search/full-text/how-full-text-works).

## 4. Saugokite klausimui reikalingą informaciją

Dokumentas su red ir apple nebūtinai turi frazę red apple. Frazės užklausai reikia žodžių pozicijų, kad sistema patikrintų tvarką ir gretimumą.

- Dokumentų identifikatoriai atsako, kuriuose dokumentuose yra terminas.
- Dažniai padeda nusakyti, kiek kartų terminas pasitaiko.
- Pozicijos leidžia klausti apie terminų vietą vienas kito atžvilgiu.

Daugiau informacijos suteikia turtingesnes užklausas, bet didina indeksą ir indeksavimo darbą. Naudingą indeksą nustato programai reikalingos paieškos.

## 5. Supraskite atnaujinimo kainą

Pasikeitus pradiniam tekstui turi keistis ir paieškos indeksas. Tokios sistemos kaip Elasticsearch duomenis tvarko segmentais ir ilgainiui juos sujungia; atnaujinimas nereiškia, kad visi esami sąrašai tuoj pat perrašomi vietoje. Matomumas paieškoje taip pat priklauso nuo refresh elgsenos.

Todėl įvertinkite papildomą vietą, indeksavimo kainą ir galimą vėlavimą tarp dokumento įrašymo ir radimo. Atvirkštinis indeksas ypač tinka terminų tekstinei paieškai, bet nėra universalus tikslaus radimo, intervalų ar transakcinės prieigos indeksų pakaitalas.

1. Pradėkite nuo mažos kolekcijos

2. Atsakykite į užklausą naudodami sąrašus

3. Suderinkite indeksavimą ir paiešką

4. Saugokite klausimui reikalingą informaciją

5. Supraskite atnaujinimo kainą

Susiję klausimai