Анализатор готовит текст к поиску, превращая его в токены — единицы, часто слова, которые можно сопоставлять позднее.
Проследим каждое преобразование
Для специально настроенного конвейера удаления HTML, разделения слов и приведения к нижнему регистру:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
