როგორ ფუნქციონირებს სრული ტექსტის ძებნა PostgreSQL-ში?

Question

IT Interview Practice · Accepted Answer

PostgreSQL-ს აქვს **ჩაშენებული სრული ტექსტის ძებნა** — დოკუმენტების/ტექსტის ძებნა სიტყვებისთვის stemming-ით, რეიტინგით და ენის აღმეზობლობით, ბევრად უფრო ძლიერი ვიდრე `LIKE`. იგი იყენებს **`tsvector`** (დამუშავებული დოკუმენტი) და **`tsquery`** (ძებნის მოთხოვნა) ტიპებს, GIN ინდექსებით სიჩქარეზე.

## პრობლემა, რომელსაც LIKE არ ხსნის

```text
LIKE '%word%' → no stemming (won't match "running" for "run"), no ranking, no language
  awareness, and can't use an index well (leading wildcard) → slow and limited.
Full-text search → stems words, ignores stop words, ranks by relevance, indexable.
```

## tsvector და tsquery

```sql
-- to_tsvector — process text into searchable lexemes (stemmed, stop-words removed)
SELECT to_tsvector('english', 'The cats are running fast');
-- → 'cat':2 'fast':5 'run':4  (stemmed: cats→cat, running→run; "the"/"are" removed)

-- to_tsquery / plainto_tsquery — parse a search query
SELECT to_tsvector('english', body) @@ to_tsquery('english', 'running')
FROM articles;   -- @@ = the match operator; matches "run" stem
```

`to_tsvector` ტექსტს გარდაქმნის ნორმალიზებულ **lexemes**-ში (სიტყვებს ძირამდე აკლებს, წაშლის stop words), და `to_tsquery` ამუშავებს ძებნის ტერმინებს. `@@` ოპერატორი ამოწმებს დამთხვევას — ამიტომ "running" დამთხვევს დოკუმენტებს, რომლებიც შეიცავს "run", "runs" და ა.შ.

## ძებადი სვეტი + GIN ინდექსი (პრაქტიკული დაყენება)

```sql
-- add a generated tsvector column and index it with GIN
ALTER TABLE articles ADD COLUMN search_vector tsvector
  GENERATED ALWAYS AS (to_tsvector('english', title || ' ' || body)) STORED;
CREATE INDEX idx_search ON articles USING GIN (search_vector);

-- fast searches using the index
SELECT title FROM articles
WHERE search_vector @@ plainto_tsquery('english', 'machine learning');
```

## შედეგების რეიტინგი შესაბამისობის მიხედვით

```sql
SELECT title, ts_rank(search_vector, query) AS rank
FROM articles, plainto_tsquery('english', 'database') query
WHERE search_vector @@ query
ORDER BY rank DESC;          -- most relevant first
```

`ts_rank` ფასებს თითოეული დოკუმენტის ხარისხს მატჩით, რაც საშუალებას იძლევა შედეგები დალაგდეს შესაბამისობის მიხედვით.

## რატომ აქვს ეს მნიშვნელობა

PostgreSQL-ის ჩაშენებული სრული ტექსტის ძებნა ღირებული ფიჩარია, რომელიც საშუალებას გაძლევთ **ძებნის ფუნქციონალობა განახორციელოთ თქვენი ბაზის შიგნით** — გარე ძებნის ძრავის გარეშე (მაგ. Elasticsearch) ბევრი სახის ამოცანებში — ამიტომ მისი გაგება სასარგებლოა აპლიკაციებისთვის, რომლებსაც სჭირდებათ ტექსტის ძებნა.

მთავარი ღირებულება იმაში მდგომარეა, რომ ის ბევრად უფრო ძლიერია ვიდრე `LIKE` (რომელიც ვერ აკლებს სიტყვებს ძირამდე, ვერ რეიტინგჩემს შედეგებს ან ეფექტურად ინდექსირებული არ არის): სრული ტექსტის ძებნა უზრუნველყოფს **სიტყვის stemming**-ს ("running"-ის დამთხვევა "run"-ისთვის), **stop-word ამოღებას**, **ენის აღმეზობლობას**, **შესაბამისობის რეიტინგს** და კრიტიკულად **ინდექსირებადია** (GIN ინდექსებით სწრაფი ძებნისთვის) — რეალური ძებნის შესაძლებლობის მიწოდება (ის სახის, რომელსაც მომხმარებლები მოელიან: სიტყვის ვარიაციების დამთხვევა, რეიტინგი შესაბამისობის მიხედვით) პირდაპირ Postgres-ში.

როგორც აღმეზობლობის სიტყვებთან `tsvector` (დამუშავებული, ძირამდე დაკლებული დოკუმენტის ტექსტი), **`tsquery`** (დამუშავებული ძებნის ტერმინები), **`@@`** მატჩის ოპერატორი და **`ts_rank`** შესაბამისობის რეიტინგისთვის — პლუს პრაქტიკული დაყენება (გენერირებული `tsvector` სვეტი ინდექსირებული GIN-ით დისკემპილებისთვის) — დაიცავს თუ როგორ გამოვიყენოთ ეფექტური ძებნა.

მიუხედავად იმისა, რომ გამოყენებული ძებნის ძრავები უფრო მეტს სთავაზობენ რთული საჭიროებებისთვის, Postgres სრული ტექსტის ძებნა საკმარისია და მოსახერხებელი ბევრი აპლიკაციისთვის (თავიდან აიცილებს გარე ძებნის სისტემის ოპერაციული სირთულე და ინახავს ძებნის მონაცემებს თქვენი რელაციურ მონაცემებთან შეთანხმებაში).
ix ტექსტის ძებნა ჩვეულებრივი აპლიკაციის მოთხოვნელობაა, და რადგან Postgres უზრუნველყოფს მდგრად ჩაშენებულ სრული ტექსტის ძებნას (ძლიერი, ინდექსირებადი, stemming-ით და რეიტინგით) რომელიც ხშირად საკმარისია გარე ძებნის ძრავის გარეშე, მისი გაგება — tsvector/tsquery მოდელი, ინდექსირებული დაყენება და რეიტინგი — ღირებული, პრაქტიკულად აქტუალური ცოდნაა, რომელიც საშუალებას გაძლევთ რეალური ძებნის ფუნქციონალობა დაამატოთ PostgreSQL-ის ჩაშენებული შესაძლებლობების გამოყენებით, გამოსადეგი ფიჩარი, რომელიც ხშირად უგულებელი რჩება უფრო რთული გარე გადაწყვეტილებების სასარგებლოდ მაშინ, როდესაც Postgres საკმარისი იქნებოდა.

პრობლემა, რომელსაც LIKE არ ხსნის

tsvector და tsquery

ძებადი სვეტი + GIN ინდექსი (პრაქტიკული დაყენება)

შედეგების რეიტინგი შესაბამისობის მიხედვით

რატომ აქვს ეს მნიშვნელობა

დაკავშირებული კითხვები