Analyzer nyiyapake teks kanggo digoleki kanthi ngowahi dadi token: unit, kerep tembung, sing mengko bisa dicocogake.
Delengen saben owah-owahan
Kanggo pipeline sing sengaja diatur mbusak HTML, misah tembung, lan nggawe huruf cilik:
text
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
