Analyzer jipprepara t-test għat-tfittxija billi jibdlu f'tokens: unitajiet, spiss kliem, li jistgħu jitqabblu aktar tard.
Ara kull trasformazzjoni
Għal pipeline ikkonfigurat apposta biex ineħħi HTML, jaqsam kliem u jagħmlu żgħir:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
