Analyzer valmistelee tekstin hakua varten muuttamalla sen tokeneiksi: yksiköiksi, usein sanoiksi, joita voidaan myöhemmin täsmätä.
Katso jokainen muunnos
Esimerkkinä erikseen määritetty ketju, joka poistaa HTML:n, pilkkoo sanat ja muuntaa ne pieniksi kirjaimiksi:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
