Analyzer pripravi besedilo za iskanje tako, da ga pretvori v tokene: enote, pogosto besede, ki jih lahko pozneje primerja.
Oglejte si vsako pretvorbo
Pri namensko nastavljeni verigi, ki odstrani HTML, deli besede in jih spremeni v male črke:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
