ਐਨਾਲਾਈਜ਼ਰ ਟੈਕਸਟ ਨੂੰ ਖੋਜ ਲਈ ਕਿਵੇਂ ਤਿਆਰ ਕਰਦਾ ਹੈ?

Question

IT Interview Practice · Accepted Answer

ਐਨਾਲਾਈਜ਼ਰ ਟੈਕਸਟ ਨੂੰ ਟੋਕਨਾਂ ਵਿੱਚ ਬਦਲ ਕੇ ਖੋਜ ਲਈ ਤਿਆਰ ਕਰਦਾ ਹੈ: ਇਕਾਈਆਂ, ਅਕਸਰ ਸ਼ਬਦ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਬਾਅਦ ਵਿੱਚ ਮਿਲਾਇਆ ਜਾ ਸਕਦਾ ਹੈ। ## ਹਰ ਤਬਦੀਲੀ ਵੇਖੋ ਜਾਣਬੁੱਝ ਕੇ ਸੰਰਚਿਤ HTML ਹਟਾਉਣ, ਸ਼ਬਦ ਵੰਡਣ ਅਤੇ ਛੋਟੇ ਅੱਖਰ ਬਣਾਉਣ ਵਾਲੀ ਪਾਈਪਲਾਈਨ ਲਈ: ```text Blue Shoes -> Blue Shoes -> [Blue, Shoes] -> [blue, shoes] ``` - ਕੈਰੈਕਟਰ ਫਿਲਟਰ ਵੰਡਣ ਤੋਂ ਪਹਿਲਾਂ HTML ਹਟਾਉਂਦਾ ਹੈ। - ਟੋਕਨਾਈਜ਼ਰ ਟੈਕਸਟ ਨੂੰ ਸ਼ਬਦਾਂ ਵਿੱਚ ਵੰਡਦਾ ਹੈ। - ਟੋਕਨ ਫਿਲਟਰ ਉਨ੍ਹਾਂ ਸ਼ਬਦਾਂ ਨੂੰ ਛੋਟੇ ਅੱਖਰਾਂ ਵਿੱਚ ਕਰਦਾ ਹੈ। ਅੰਤਿਮ ਟੋਕਨ ਸਮਝਾਉਂਦੇ ਹਨ ਕਿ ਛੋਟੇ ਅੱਖਰਾਂ ਵਾਲਾ `shoes` ਅਸਲ ਇਨਪੁੱਟ ਨਾਲ ਕਿਉਂ ਮਿਲ ਸਕਦਾ ਹੈ। ਇਹ ਕਸਟਮ ਉਦਾਹਰਨ ਹੈ; ਹਰ ਐਨਾਲਾਈਜ਼ਰ HTML ਨਹੀਂ ਹਟਾਉਂਦਾ। ## ਅਨੁਮਾਨ ਦੀ ਥਾਂ ਜਾਂਚ ਕਰੋ Kibana Dev Tools ਵਿੱਚ ਇਹ ਬੇਨਤੀ ਉਸ ਪਾਈਪਲਾਈਨ ਦੇ ਟੋਕਨ ਦਿਖਾਉਂਦੀ ਹੈ: ```http POST /_analyze { "char_filter": ["html_strip"], "tokenizer": "standard", "filter": ["lowercase"], "text": "Blue Shoes" } ``` ਵਾਪਸ ਆਈਆਂ ਟੋਕਨ ਐਂਟਰੀਆਂ ਵਿੱਚ `blue` ਅਤੇ `shoes` ਲੱਭੋ। ਫਿਰ ਅਸਲ ਲਹਿਜ਼ਾ ਚਿੰਨ੍ਹ, ਭਾਸ਼ਾਵਾਂ ਅਤੇ ਉਤਪਾਦ ਕੋਡ ਜਾਂਚੋ। ਇੰਡੈਕਸ-ਸਮੇਂ ਵਿਸ਼ਲੇਸ਼ਣ ਸਟੋਰ ਟਰਮ ਤਿਆਰ ਕਰਦਾ ਹੈ; ਖੋਜ-ਸਮੇਂ ਵਿਸ਼ਲੇਸ਼ਣ ਵਰਤੋਂਕਾਰ ਕਵੇਰੀਆਂ ਤਿਆਰ ਕਰਦਾ ਹੈ। ਦੋਵੇਂ ਪਾਈਪਲਾਈਨਾਂ ਵੱਖਰੀਆਂ ਹੋਣ ਉੱਤੇ ਵੀ ਅਨੁਕੂਲ ਟਰਮ ਚਾਹੀਦੇ ਹਨ। [ਅਧਿਕਾਰਤ ਦਸਤਾਵੇਜ਼](https://www.elastic.co/docs/manage-data/data-store/text-analysis).

ਹਰ ਤਬਦੀਲੀ ਵੇਖੋ

ਅਨੁਮਾਨ ਦੀ ਥਾਂ ਜਾਂਚ ਕਰੋ

ਸੰਬੰਧਿਤ ਸਵਾਲ