Un analyseur prépare le texte à la recherche en le transformant en tokens : des unités, souvent des mots, qui pourront ensuite être comparées.
Observer chaque transformation
Pour une chaîne volontairement configurée pour retirer le HTML, séparer les mots et les mettre en minuscules :
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
