Analyzer menyediakan teks untuk carian dengan menukarnya kepada token: unit, selalunya perkataan, yang boleh dipadankan kemudian.
Perhatikan setiap transformasi
Untuk pipeline yang sengaja dikonfigurasi membuang HTML, memisahkan perkataan dan menukarnya kepada huruf kecil:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
