Kaip analyzer paruošia tekstą paieškai?

Question

IT Interview Practice · Accepted Answer

Analyzer paruošia tekstą paieškai paversdamas jį tokenais – vienetais, dažnai žodžiais, kuriuos vėliau galima sutapatinti. ## Stebėkite kiekvieną transformaciją Sąmoningai nustatytam HTML šalinimo, žodžių skaidymo ir raidžių mažinimo pipeline: ```text Blue Shoes -> Blue Shoes -> [Blue, Shoes] -> [blue, shoes] ``` - Character filter pašalina HTML prieš skaidymą. - Tokenizer padalija tekstą į žodžius. - Token filter paverčia šiuos žodžius mažosiomis raidėmis. Galutiniai tokenai paaiškina, kodėl mažosiomis parašytas `shoes` gali atitikti pradinį įvedimą. Tai individualus pavyzdys; ne kiekvienas analyzer šalina HTML. ## Patikrinkite, o ne spėliokite Kibana Dev Tools ši užklausa parodo pipeline tokenus: ```http POST /_analyze { "char_filter": ["html_strip"], "tokenizer": "standard", "filter": ["lowercase"], "text": "Blue Shoes" } ``` Grąžintuose token įrašuose ieškokite `blue` ir `shoes`. Tada testuokite tikrus diakritinius ženklus, kalbas ir produktų kodus. Indeksavimo analizė paruošia saugomus term, o paieškos analizė – naudotojo užklausas. Jiems reikia suderinamų term, net jei pipeline skiriasi. [Oficiali dokumentacija](https://www.elastic.co/docs/manage-data/data-store/text-analysis).

Stebėkite kiekvieną transformaciją

Patikrinkite, o ne spėliokite

Susiję klausimai