ਐਨਾਲਾਈਜ਼ਰ ਟੈਕਸਟ ਨੂੰ ਟੋਕਨਾਂ ਵਿੱਚ ਬਦਲ ਕੇ ਖੋਜ ਲਈ ਤਿਆਰ ਕਰਦਾ ਹੈ: ਇਕਾਈਆਂ, ਅਕਸਰ ਸ਼ਬਦ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਬਾਅਦ ਵਿੱਚ ਮਿਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।
ਹਰ ਤਬਦੀਲੀ ਵੇਖੋ
ਜਾਣਬੁੱਝ ਕੇ ਸੰਰਚਿਤ HTML ਹਟਾਉਣ, ਸ਼ਬਦ ਵੰਡਣ ਅਤੇ ਛੋਟੇ ਅੱਖਰ ਬਣਾਉਣ ਵਾਲੀ ਪਾਈਪਲਾਈਨ ਲਈ:
text
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
- ਕੈਰੈਕਟਰ ਫਿਲਟਰ ਵੰਡਣ ਤੋਂ ਪਹਿਲਾਂ HTML ਹਟਾਉਂਦਾ ਹੈ।
