Ο analyzer προετοιμάζει το κείμενο μετατρέποντάς το σε tokens: μονάδες, συχνά λέξεις, που μπορούν αργότερα να αντιστοιχιστούν.
Δείτε κάθε μετατροπή
Για μια ρητά διαμορφωμένη αλυσίδα αφαίρεσης HTML, διαχωρισμού λέξεων και μετατροπής σε πεζά:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
