Az analyzer tokenekké alakítja a szöveget a kereséshez: olyan egységekké, gyakran szavakká, amelyek később egyeztethetők.
Figyeljük meg az átalakításokat
Egy szándékosan HTML-eltávolításra, szófelbontásra és kisbetűsítésre konfigurált pipeline esetén:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
