En analysator förbereder text för sökning genom att omvandla den till token: enheter, ofta ord, som kan matchas senare.
Följ varje omvandling
För en medvetet konfigurerad pipeline som tar bort HTML, delar ord och gör dem gemena:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
