Een analyzer bereidt tekst voor op zoeken door tokens te maken: eenheden, vaak woorden, die later kunnen worden gematcht.
Bekijk iedere omzetting
Voor een bewust ingestelde pipeline die HTML verwijdert, woorden splitst en kleine letters maakt:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
