Analizuesi e përgatit tekstin për kërkim duke e kthyer në token-a: njësi, shpesh fjalë, që mund të përputhen më vonë.
Ndiqni çdo shndërrim
Për një pipeline të konfiguruar posaçërisht për heqje HTML-je, ndarje fjalësh dhe kthim në shkronja të vogla:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
