Analyzer 如何处理文本以支持搜索？

Question

IT Interview Practice · Accepted Answer

Analyzer 把文本转换为 token，为搜索做准备。Token 是之后可以匹配的单位，通常是一个词。 ## 观察每一步转换对于明确配置为去除 HTML、分词并转小写的处理流程： ```text Blue Shoes -> Blue Shoes -> [Blue, Shoes] -> [blue, shoes] ``` - Character filter 在分词前移除 HTML。 - Tokenizer 把文本拆成词。 - Token filter 把这些词转为小写。最终 token 解释了为什么小写 `shoes` 能匹配原始输入。这是自定义示例，并非每个 analyzer 都会去掉 HTML。 ## 实际检查，不要猜测在 Kibana Dev Tools 中，以下请求会显示该流程生成的 token： ```http POST /_analyze { "char_filter": ["html_strip"], "tokenizer": "standard", "filter": ["lowercase"], "text": "Blue Shoes" } ``` 在返回的 token 条目中查找 `blue` 和 `shoes`。然后测试真实的重音符号、语言和商品编码。索引时分析准备已存储的 term；搜索时分析准备用户查询。即使两套流程不同，也需要生成兼容的 term。 [官方文档](https://www.elastic.co/docs/manage-data/data-store/text-analysis).

观察每一步转换

实际检查，不要猜测

相关问题