Inverted index কীভাবে কাজ করে?

Question

IT Interview Practice · Accepted Answer

**Inverted index একটি term থেকে সেটি থাকা document-এর তালিকা দেয়।** এতে search engine প্রতিবার সব document শুরু থেকে শেষ না পড়েই সম্ভাব্য document খুঁজতে পারে।

বইয়ের শেষে শব্দসূচি ভাবুন: শব্দ খুঁজে তালিকাভুক্ত পৃষ্ঠায় যান। Search engine-এ page number-এর জায়গায় document identifier থাকে।

## 1. ছোট collection দিয়ে শুরু করুন

ধরুন তিনটি document আছে এবং সহজ analyzer text lowercase করে শব্দ আলাদা করে। Analyzer হলো text-কে searchable term-এ রূপ দেওয়ার ধাপসমষ্টি।

```text
D1: Red apple
D2: Green apple
D3: Red car

apple -> D1, D2
car   -> D3
green -> D2
red   -> D1, D3
```

আসল দিক document থেকে word। Index সেটি উল্টে word থেকে document করে, তাই এই নাম। প্রতি term-এর matching document তালিকাকে posting list বলে।

## 2. তালিকা দিয়ে query-র উত্তর দিন

Red এবং apple দুটোই চাইলে দুই posting list-এর intersection রাখুন: D1 দুটোতেই আছে। যেকোনো একটি চললে union নিন: D1, D2 ও D3 candidate।

এটি matching বোঝায়, ranking নয়। একাধিক document মিললে engine term frequency এবং collection-এ term কত সাধারণ তা দিয়ে score করতে পারে। Match খোঁজা ও তাদের order ঠিক করা সম্পর্কিত কিন্তু আলাদা ধাপ।

## 3. Indexing ও searching সামঞ্জস্যপূর্ণ রাখুন

Query এমনভাবে analyze করতে হবে যা indexed term-এর সঙ্গে compatible। Indexing Red-কে red বানালে কিন্তু search literal Red খুঁজলে কাঙ্ক্ষিত match বাদ পড়তে পারে।

সঠিক analysis field-এর ওপর নির্ভর করে। Product description text analysis থেকে সুবিধা পায়; exact order identifier সাধারণত exact match চায়। Identifier সাধারণ শব্দে ভাগ করলে অর্থ বদলাতে পারে। Elastic-এর [full-text search ব্যাখ্যা](https://www.elastic.co/docs/solutions/search/full-text/how-full-text-works) দেখুন।

## 4. প্রশ্নের জন্য যথেষ্ট তথ্য রাখুন

Document-এ red ও apple থাকলেই red apple phrase আছে এমন নয়। Phrase query-র জন্য word position দরকার, যাতে engine order ও adjacency দেখতে পারে।

- Document identifier বলে কোন document-এ term আছে।
- Frequency term কতবার আছে বোঝাতে সাহায্য করে।
- Position term-গুলো পরস্পরের কোথায় আছে এমন প্রশ্ন সমর্থন করে।

বেশি তথ্য রাখলে সমৃদ্ধ query হয়, কিন্তু index size ও indexing work বাড়ে। Application-এর search চাহিদা ঠিক করে কোন index উপকারী।

## 5. Updated রাখার খরচ বুঝুন

Source text বদলালে search index-ও update করতে হয়। Elasticsearch-এর মতো সিস্টেম segment-এ indexed data রাখে এবং সময়ে merge করে; update মানেই existing সব posting list তখনই in-place rewrite নয়। Search visibility engine-এর refresh আচরণের ওপরও নির্ভর করে।

তাই অতিরিক্ত storage, indexing cost এবং document লেখা থেকে search-এ পাওয়ার সম্ভাব্য delay ধরুন। Inverted index term-ভিত্তিক text search-এ বিশেষ উপকারী; exact lookup, range বা transactional access-এর সব index-এর বিকল্প নয়।

1. ছোট collection দিয়ে শুরু করুন

2. তালিকা দিয়ে query-র উত্তর দিন

3. Indexing ও searching সামঞ্জস্যপূর্ণ রাখুন

4. প্রশ্নের জন্য যথেষ্ট তথ্য রাখুন

5. Updated রাখার খরচ বুঝুন

সম্পর্কিত প্রশ্ন