En analyzer klargjør tekst for søk ved å gjøre den om til tokens: enheter, ofte ord, som kan matches senere.
Se hver omforming
For en bevisst konfigurert pipeline som fjerner HTML, deler ord og gjør dem til små bokstaver:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
- Et character filter fjerner HTML før oppdeling.
