역색인은 어떻게 작동하나요?

Question

역색인은 어떻게 작동하나요?

IT Interview Practice · Accepted Answer

**역색인은 용어를 그 용어가 들어 있는 문서에 연결합니다.** 검색할 때마다 모든 문서를 처음부터 끝까지 읽지 않고 후보 문서를 찾을 수 있습니다.

책 뒤의 색인을 떠올리면 됩니다. 단어를 찾고 적힌 페이지로 이동합니다. 검색 엔진에서는 페이지 번호 대신 문서 식별자를 사용합니다.

## 1. 작은 모음부터 살펴봅니다

문서 세 개와 텍스트를 소문자로 바꾸고 단어로 나누는 간단한 분석기가 있다고 합시다. 분석기는 텍스트를 검색 가능한 용어로 만드는 단계들의 묶음입니다.

```text
D1: Red apple
D2: Green apple
D3: Red car

apple -> D1, D2
car   -> D3
green -> D2
red   -> D1, D3
```

원래 방향은 문서에서 단어로 향합니다. 색인은 단어에서 문서로 방향을 뒤집으므로 역색인이라고 부릅니다. 각 용어에 해당하는 문서 목록이 포스팅 리스트입니다.

## 2. 목록으로 쿼리에 답합니다

red와 apple을 모두 요구하면 두 목록의 교집합을 구합니다. D1이 양쪽에 있습니다. 어느 하나라도 허용하면 합집합을 구해 D1, D2, D3가 후보가 됩니다.

이는 일치 판단의 예이지 순위 예가 아닙니다. 여러 문서가 맞으면 용어 빈도나 전체 모음에서의 흔한 정도로 점수를 계산할 수 있습니다. 일치를 찾는 것과 순서를 정하는 것은 관련되지만 별개의 단계입니다.

## 3. 색인과 검색의 분석을 맞춥니다

쿼리는 색인된 용어와 호환되는 방식으로 분석해야 합니다. 색인할 때 Red를 red로 바꾸고 검색에서는 문자 그대로 Red를 찾으면 원하는 결과를 놓칠 수 있습니다.

적절한 분석은 필드에 달려 있습니다. 상품 설명에는 텍스트 분석이 좋지만 정확한 주문 식별자는 보통 정확 일치가 필요합니다. 식별자를 일반 단어로 쪼개면 의미가 달라질 수 있습니다. Elastic의 [전문 검색 설명](https://www.elastic.co/docs/solutions/search/full-text/how-full-text-works)을 참고합니다.

## 4. 질문에 필요한 정보를 저장합니다

red와 apple을 포함한 문서가 반드시 red apple이라는 구절을 포함하지는 않습니다. 구절 검색에는 순서와 인접성을 검사할 단어 위치가 필요합니다.

- 문서 식별자는 어떤 문서에 용어가 있는지 알려 줍니다.
- 빈도는 용어가 몇 번 등장하는지 설명하는 데 도움이 됩니다.
- 위치는 용어 사이의 상대적인 배치를 묻는 검색을 지원합니다.

정보가 많으면 풍부한 쿼리를 지원하지만 색인 크기와 생성 작업도 증가합니다. 필요한 색인은 앱이 지원해야 할 검색으로 결정됩니다.

## 5. 최신 상태 유지 비용을 이해합니다

원문이 바뀌면 검색 색인도 갱신해야 합니다. Elasticsearch 같은 시스템은 색인 데이터를 세그먼트로 관리하고 시간이 지나며 병합합니다. 갱신한다고 기존 모든 포스팅 리스트를 즉시 제자리에서 다시 쓰는 것은 아닙니다. 검색 노출 시점은 리프레시 동작에도 달려 있습니다.

추가 저장 공간, 색인 비용, 문서 쓰기와 검색 노출 사이의 지연을 고려합니다. 역색인은 용어 기반 텍스트 검색에 특히 유용하지만 정확 조회, 범위, 트랜잭션 접근용 색인을 보편적으로 대체하지는 않습니다.

1. 작은 모음부터 살펴봅니다

2. 목록으로 쿼리에 답합니다

3. 색인과 검색의 분석을 맞춥니다

4. 질문에 필요한 정보를 저장합니다

5. 최신 상태 유지 비용을 이해합니다

관련 질문