Analyzér připravuje text pro hledání převodem na tokeny: jednotky, často slova, které lze později porovnávat.
Sledujte každou transformaci
Pro záměrně nakonfigurovanou pipeline, která odstraňuje HTML, rozděluje slova a převádí je na malá písmena:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
