Un analizador prepara el texto para buscar convirtiéndolo en tokens: unidades, a menudo palabras, que podrán compararse después.
Observe cada transformación
Para una cadena configurada deliberadamente para quitar HTML, separar palabras y convertirlas a minúsculas:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
