Kodėl LLM-ai haliumcinuoja ir kaip tai sumažinti?

Question

Accepted Answer

LLM **haliumcinuoja**, kai jis sukuria tekstą, kuris skamba pasitikėtinai ir tikėtinai, tačiau faktiškai yra neteisingas arba sugalvotas. Norėdami suprasti, kodėl taip atsitinka, pirmiausia turite suprasti, ką iš tikrųjų daro modelis.

## Kaip veikia LLM (trumpai)

Auštai tariant, LLM yra **sekančio žetono nuspėtuvas**. Atsižvelgdamas į tekstą iki šiol, jis nuspėja geriausiai tikėtiną sekantį žetoną (žodį/dalį) remiantis **statistiniais modeliais, išmoktais mokymo metu** — ne ieškodamas faktų duomenų bazėje.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Kodėl atsiranda haliumcinacijos

- **Jis generuoja, ne paima iš šaltinio.** Modelis sukuria *tikėtiną* tekstą, ne *patikrintus* faktus. Sklandumas ir tiesa yra nepriklausomi.
- **Nėra įtaisyto tiesos patikrinimo.** Modelio viduje nėra nieko, kas palygintu išvestį su realybe.
- **Spragos užpildomos pasitikėtinai.** Kai mokymo duomenys yra nedaug, neaiški arba jų trūksta (retos API, nauji įvykiai, neaiškūs žmonės), modelis vis dar išveda statistiškai tikėtiną tęsinį — kuris gali būti klaidingas.
- **Pasitikėjimas nėra teisingumas.** Sugalvota nuoroda atrodo tiksliai taip pat sklandžiai kaip tikra.

## Kaip tai sumažinti

- **Grįsti RAG / šaltiniais.** Atgaukite atitinkamus dokumentus ir įdėkite juos į užklausą, kad modelis atsakytų *iš* tikro teksto, o ne iš atminties.
- **Prašykite citacijų** ir jas patikrinkite — sugalvotos nuorodos atskleidžia haliumcinaciją.
- **Sumažinkite temperatūrą** faktinėms užduotims, todėl modelis pasirenka didelės tikimybės (saugesnius) žetonus.
- **Leiskite "Nežinau."** Aiškiai nurodykite modeliui tai pasakyti, kai jis nėra tikras, pašalinant spaudimą sugalvoti.
- **Patikrinkite naudodami įrankius.** Paleidžiakite kodą, paprašykite skaičiuotuvo/paieškos/duomenų bazės arba skambinkite API, o ne pasiklaukite modelio atmintimi.
- **Sumažinkite taikymo sritį.** Specifinės, gerai apibrėžtos užklausos haliumcinuoja mažiau nei atviros.

## Kodėl tai svarbu

LLM-ai vis labiau įterpiami į produktus, kuriems pasitiki tikri vartotojai. Kadangi modelis **generuoja tikėtiną tekstą, o ne paima faktus**, haliumcinacija yra savybė, o ne atsitiktinė klaida — todėl inžinieriai turi projektą iš jos perimti. Žinant *kodėl* tai atsitinka (sekančio žetono nuspėjimas be tiesos patikrinimo), jūs žinote *kaip* tai sumažinti: grindimas faktais, citatacijos, žemesnė temperatūra, leidimas atsisakyti ir išorinis patikrinimas. LLM išvesties traktavimas kaip juodraščio, kurį reikia patikrinti — ne kaip orakulo — yra skirtumas tarp patikimo ar pasitikintino nepavadymo.