Analizator priprema tekst za pretraživanje pretvarajući ga u tokene: jedinice, često riječi, koje se kasnije mogu uspoređivati.
Pratite svaku transformaciju
Za namjerno konfiguriran pipeline koji uklanja HTML, dijeli riječi i pretvara ih u mala slova:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
