Analyzer przygotowuje tekst do wyszukiwania, zamieniając go na tokeny: jednostki, często słowa, które można później dopasować.
Zobacz każdą transformację
Dla celowo skonfigurowanego procesu usuwania HTML, dzielenia słów i zamiany na małe litery:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
