Un analyzer prepara il testo alla ricerca trasformandolo in token: unità, spesso parole, che potranno essere confrontate successivamente.
Osserva ogni trasformazione
Per una pipeline configurata appositamente per rimuovere HTML, separare parole e convertirle in minuscolo:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
