Analyzer ले text लाई token मा बदल्दै खोजका लागि तयार पार्छ। Token भनेको पछि मिलाउन सकिने एकाइ हो, जुन प्रायः शब्द हुन्छ।
प्रत्येक परिवर्तन हेरौँ
HTML हटाउने, शब्द छुट्याउने र साना अक्षर बनाउने भनेर स्पष्ट सेट गरिएको pipeline का लागि:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
