რატომ აკეთებენ LLM-ები ჰალუცინაციას და როგორ შეიძლება მისი შემცირება?

Question

Accepted Answer

LLM **ჰალუცინაციას** აკეთებს, როდესაც წარმოქმნის ტექსტს, რომელიც ნდობელი და სწორი ჩანს, მაგრამ ფაქტობრივად არასწორი ან გამოგონილია. იმის გასაგებად, რატომ ხდება ეს, ჯერ უნდა გესმოდეთ, რა აკეთებს მოდელი სინამდვილეში.

## როგორ მუშაობს LLM (მოკლედ)

მაღალი დონეზე, LLM არის **შემდეგი ტოკენის პროგნოზირებელი**. მოცემული ტექსტის საფუძველზე, ის პროგნოზირებს ყველაზე სავარაუდო შემდეგ ტოკენს (სიტყვა/ცალი) **სტატისტიკური ნიმუშების საფუძველზე, რომელიც ჩამოყალიბდა ტრენინგის დროს** — არა მონაცემთა ბაზაში ფაქტების ძებნით.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## რატომ ხდება ჰალუცინაციები

- **ის წარმოქმნის, ის არ წამოიღებს.** მოდელი წარმოქმნის *სწორი ტექსტი*, არა *გადამოწმებული* ფაქტები. სიტყვიერი უნარი და სიმართე დამოუკიდებელია.
- **არ არის ჩაშენებული სიმართის შემოწმება.** ფაქტობრივი რაღაც მოდელში არ ადარებს გამოფენილს სინამდვილესთან.
- **ხარვეზები თავდაჯერებულად ივსება.** როდესაც ტრენინგის მონაცემები თხელი, ორაზროვანი ან აკლია (იშვიათი API-ები, ბოლო ხელმოვლენები, იშვიათი ადამიანები), მოდელი მაინც წარმოქმნის სტატისტიკურად სავარაუდო გაგრძელებას — რაც შეიძლება არასწორი იყოს.
- **თავდაჯერება არ არის სიმართე.** გამოგონილი ციტატა ზუსტად ისე გამოიყურება, როგორც რეალური.

## როგორ შემცირდეს ეს

- **ეტიკეტი RAG/წყაროებით.** წაშლა შესაბამისი დოკუმენტები და ჩასახელეთ ისინი პრომპტში, რათა მოდელი პასუხი გაცეს *რეალური* ტექსტიდან, მეხსიერების ნაცვლად.
- **სთხოვეთ ციტატა** და შეამოწმეთ ისინი — გამოგონილი ბიბლიოგრაფია აღმოაჩენს ჰალუცინაციას.
- **დაამცირეთ ტემპერატურა** ფაქტობრივი ამოცანებისთვის, რათა მოდელი აირჩიოს მაღალი ალბათობის (უფრო უსაფრთხო) ტოკენები.
- **დაშვება "არ ვიცი".** ცხადად დაიკვეხ მოდელს ეს თქვას, როდესაც არ არის დარწმუნებული, ამით ამოიღეთ წნეხი გამოგონილობისთვის.
- **დაამოწმეთ ინსტრუმენტებით.** კოდის გაშვება, კალკულატორი/ძებნა/მონაცემთა ბაზის შეკითხვა, ან API-ის გამოძახება, ვიდრე მოდელის უმეცრობას დაეყრდნოთ.
- **შეზღუდეთ ფარი.** კონკრეტული, კარგად განსაზღვრული პრომპტები ნაკლებად ჰალუცინაციას ფიქრობენ ვიდრე ღია დასასრულო დავალებები.

## რატომ აქვს მნიშვნელობა

LLM-ები სულ უფრ ხშირად ჩაშენებულია პროდუქტებში, რომელსაც რეალური მომხმარებლები ენდობიან. იმ გამო, რომ მოდელი **წარმოქმნის სწორი ტექსტი, არა ფაქტების წამოღება**, ჰალუცინაცია ის არის ჩაშენებული ქცევა, არა ერთეული ხარვეზი — ამ მიზეზით ინჟინრებმა უნდა დაამყაროს მისი გარშემო. იმის ცოდნა *რატომ* ხდება ეს (შემდეგი ტოკენის პროგნოზირება სიმართის შემოწმების გარეშე) გიჩვენებთ *როგორ* მისი შემცირება: ეტიკეტი, ციტატა, დაბალი ტემპერატურა, უკმარისობის ფიკრი, და გარე დამოწმება. LLM-ის გამოფენის მკურნალობა როგორც სამუშაო მასალა, რომელიც უნდა შემოწმდეს — არა oracle — არის სხვაობა საიმედო ფუნქციასა და თავდაჯერებული პასიურობის შორის.