అనలైజర్ టెక్స్ట్ను టోకెన్లుగా మార్చి శోధనకు సిద్ధం చేస్తుంది: తర్వాత సరిపోల్చగల యూనిట్లు, తరచుగా పదాలు.
ప్రతి మార్పును చూడండి
ఉద్దేశపూర్వకంగా కాన్ఫిగర్ చేసిన HTML తొలగించే, పదాలను విడదీసే, చిన్న అక్షరాలుగా మార్చే పైప్లైన్ కోసం:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
