Inverted index કેવી રીતે કામ કરે છે?

Question

IT Interview Practice · Accepted Answer

**Inverted index દરેક termને તે ધરાવતા documents સાથે જોડે છે.** એટલે search engine દરેક search વખતે દરેક document શરૂઆતથી અંત સુધી વાંચ્યા વિના સંભવિત documents શોધી શકે છે.

પુસ્તકના અંતનો index વિચારો: શબ્દ શોધો, પછી બતાવેલા પાનાં પર જાઓ. Search engineમાં પાનાંના નંબરને બદલે document identifiers હોય છે.

## 1. નાના collectionથી શરૂઆત કરો

ત્રણ documents અને textને lowercase કરીને wordsમાં વહેંચતો સરળ analyzer ધારો. Analyzer એટલે textને શોધી શકાય એવા termsમાં ફેરવતાં પગલાં.

```text
D1: Red apple
D2: Green apple
D3: Red car

apple -> D1, D2
car   -> D3
green -> D2
red   -> D1, D3
```

મૂળ દિશા documentથી words છે. Index તેને ઊલટાવી wordથી documents બનાવે છે, એટલે inverted નામ. દરેક termના matching documentsની યાદીને posting list કહે છે.

## 2. Listsથી queryનો જવાબ મેળવો

Red અને apple બંને જરૂરી હોય તો બંને posting lists વાંચીને intersection લો: D1 બંનેમાં છે. કોઈ એક term ચાલે તો union લો: D1, D2 અને D3 candidates છે.

આ ઉદાહરણ matching સમજાવે છે, ranking નહીં. ઘણા documents match થાય તો engine term frequency અને collectionમાં term કેટલો સામાન્ય છે જેવી માહિતીથી score આપી શકે. Matches શોધવા અને તેમનો ક્રમ નક્કી કરવો સંબંધિત પરંતુ અલગ પગલાં છે.

## 3. Indexing અને searching સુસંગત રાખો

Queryનું analysis indexed terms સાથે સુસંગત હોવું જોઈએ. Indexing Redને red કરે પરંતુ search literal Red શોધે તો અપેક્ષિત match ચૂકી શકે.

યોગ્ય analysis field પર આધારિત છે. Product descriptions માટે text analysis ઉપયોગી છે; exact order identifierને સામાન્ય રીતે exact matching જોઈએ. Identifierને સામાન્ય wordsમાં વહેંચવાથી તેનો અર્થ બદલાઈ શકે. Elasticનું [full-text search વિશે સમજાવટ](https://www.elastic.co/docs/solutions/search/full-text/how-full-text-works) જુઓ.

## 4. પૂછાતા પ્રશ્ન માટે પૂરતી માહિતી રાખો

Red અને apple બંને ધરાવતો document જરૂરી નથી કે red apple phrase ધરાવતો હોય. Phrase query માટે indexને word positions જોઈએ જેથી engine ક્રમ અને નજીકપણું તપાસી શકે.

- Document identifiers બતાવે છે કે term કયા documentsમાં છે.
- Frequencies term કેટલી વાર આવે છે તે સમજાવવામાં મદદ કરે છે.
- Positions terms એકબીજાની સરખામણીમાં ક્યાં આવે છે તે પૂછવામાં મદદ કરે છે.

વધુ માહિતી રાખવાથી વધુ સમૃદ્ધ queries મળે, પરંતુ index size અને indexing work વધે છે. Applicationને કયા searches જોઈએ તે ઉપયોગી index નક્કી કરે છે.

## 5. તેને તાજું રાખવાનો ખર્ચ સમજો

Source text બદલાય ત્યારે search index પણ update કરવો પડે. Elasticsearch જેવી systems indexed dataને segmentsમાં રાખીને સમયાંતરે merge કરે છે; update એટલે દરેક posting list તરત જ એ જ જગ્યાએ ફરી લખાય એવું નથી. Search visibility engineના refresh વર્તન પર પણ આધારિત છે.

એટલે વધારાનું storage, indexing cost અને document લખવાથી searchમાં મળવા સુધીનો સંભવિત વિલંબ ગણો. Inverted index term-based text search માટે ખાસ ઉપયોગી છે; exact lookup, ranges અથવા transactional accessના indexesનું સર્વવ્યાપી સ્થાનાપન્ન નથી.

1. નાના collectionથી શરૂઆત કરો

2. Listsથી queryનો જવાબ મેળવો

3. Indexing અને searching સુસંગત રાખો

4. પૂછાતા પ્રશ્ન માટે પૂરતી માહિતી રાખો

5. તેને તાજું રાખવાનો ખર્ચ સમજો

સંબંધિત પ્રશ્નો