Analyzer huandaa maandishi kwa kutafuta kwa kuyageuza kuwa token: vipande, mara nyingi maneno, vinavyoweza kulinganishwa baadaye.
Tazama kila mabadiliko
Kwa pipeline iliyosanidiwa kuondoa HTML, kugawa maneno na kufanya herufi ndogo:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
