Analyzer text को tokens में बदलकर search के लिए तैयार करता है: ऐसी इकाइयाँ, अक्सर शब्द, जिन्हें बाद में match किया जा सके।
हर परिवर्तन देखें
जानबूझकर configured HTML हटाने, शब्द बाँटने और lowercase करने वाली pipeline के लिए:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
