analyzer는 검색을 위해 텍스트를 어떻게 준비하나요?

Question

IT Interview Practice · Accepted Answer

analyzer는 텍스트를 token으로 바꿔 검색을 준비합니다. token은 나중에 일치 여부를 검사할 단위이며, 흔히 단어입니다. ## 변환 단계 살펴보기 HTML 제거, 단어 분리, 소문자 변환을 의도적으로 설정한 pipeline이라면 다음과 같습니다. ```text Blue Shoes -> Blue Shoes -> [Blue, Shoes] -> [blue, shoes] ``` - character filter가 분리 전에 HTML을 제거합니다. - tokenizer가 텍스트를 단어로 나눕니다. - token filter가 그 단어를 소문자로 바꿉니다. 최종 token을 보면 소문자 `shoes`가 원래 입력과 일치할 수 있는 이유를 알 수 있습니다. 이는 사용자 지정 예제이며 모든 analyzer가 HTML을 제거하지는 않습니다. ## 추측 대신 확인하기 Kibana Dev Tools에서 다음 요청으로 이 pipeline의 token을 확인합니다. ```http POST /_analyze { "char_filter": ["html_strip"], "tokenizer": "standard", "filter": ["lowercase"], "text": "Blue Shoes" } ``` 반환된 token 항목에서 `blue`와 `shoes`를 찾습니다. 이어서 실제 악센트, 언어, 상품 코드를 테스트합니다. 색인 시 분석은 저장할 term을 준비하고, 검색 시 분석은 사용자 쿼리를 준비합니다. 두 pipeline이 달라도 호환되는 term이 필요합니다. [공식 문서](https://www.elastic.co/docs/manage-data/data-store/text-analysis).

변환 단계 살펴보기

추측 대신 확인하기

관련 질문