Analizör metni daha sonra eşleştirilebilen, çoğunlukla kelimelerden oluşan token birimlerine dönüştürerek aramaya hazırlar.
Her dönüşümü izleyin
HTML temizleme, kelime bölme ve küçük harfe çevirme için özellikle yapılandırılmış pipeline'da:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
