Analyzer text ஐ token களாக மாற்றித் தேடலுக்குத் தயாரிக்கிறது. Token என்பது பின்னர் பொருத்திப் பார்க்கக்கூடிய அலகு; பெரும்பாலும் ஒரு சொல்.
HTML அகற்றுதல், சொற்களாகப் பிரித்தல், சிறிய எழுத்துகளாக்குதல் ஆகியவற்றுக்காகத் திட்டமிட்டு அமைத்த pipeline இல்:
<b>Blue Shoes</b>
-> Blue Shoes
-> [Blue, Shoes]
-> [blue, shoes]
சிறிய எழுத்திலுள்ள shoes அசல் input உடன் ஏன் பொருந்தலாம் என்பதை இறுதி token கள் விளக்குகின்றன. இது custom எடுத்துக்காட்டு; எல்லா analyzer களும் HTML ஐ அகற்றாது.
Kibana Dev Tools இல் இந்தக் கோரிக்கை அந்த pipeline இன் token களைக் காட்டும்:
POST /_analyze
{
"char_filter": ["html_strip"],
"tokenizer": "standard",
"filter": ["lowercase"],
"text": "<b>Blue Shoes</b>"
}
பதிலில் வரும் token பதிவுகளில் blue மற்றும் shoes ஐப் பாருங்கள். பிறகு உண்மையான உச்சரிப்புக் குறிகள், மொழிகள், பொருள் குறியீடுகளைச் சோதியுங்கள். Index-time analysis சேமிக்கப்படும் term களைத் தயாரிக்கிறது; search-time analysis பயனர் query களைத் தயாரிக்கிறது. இரண்டு pipeline களும் வேறாக இருந்தாலும் அவற்றின் term கள் இணக்கமாக இருக்க வேண்டும்.
விரிவான பதில்களுடன் கூடிய IT நேர்காணல் கேள்விகளின் நூலகம் — Junior முதல் Senior வரை.
நன்கொடை