Как анализатор готовит текст к поиску?

Question

IT Interview Practice · Accepted Answer

Анализатор готовит текст к поиску, превращая его в токены — единицы, часто слова, которые можно сопоставлять позднее. ## Проследим каждое преобразование Для специально настроенного конвейера удаления HTML, разделения слов и приведения к нижнему регистру: ```text Blue Shoes -> Blue Shoes -> [Blue, Shoes] -> [blue, shoes] ``` - Фильтр символов удаляет HTML до разделения. - Токенизатор разделяет текст на слова. - Фильтр токенов переводит слова в нижний регистр. Конечные токены объясняют, почему строчное `shoes` совпадает с исходным вводом. Это настроенный пример: не каждый анализатор удаляет HTML. ## Проверяйте, а не гадайте В Kibana Dev Tools этот запрос показывает токены конвейера: ```http POST /_analyze { "char_filter": ["html_strip"], "tokenizer": "standard", "filter": ["lowercase"], "text": "Blue Shoes" } ``` Найдите `blue` и `shoes` в возвращённых токенах. Затем проверьте реальные диакритические знаки, языки и коды товаров. Анализ при индексировании готовит сохранённые термы, анализ при поиске — пользовательские запросы. Им нужны совместимые термы, даже если конвейеры различаются. [Официальная документация](https://www.elastic.co/docs/manage-data/data-store/text-analysis).

Проследим каждое преобразование

Проверяйте, а не гадайте

Похожие вопросы