Hvorfor hallusiner LLM-er, og hvordan kan du redusere det?

Question

Accepted Answer

En LLM **hallusiner** når den produserer tekst som høres selvsikker og plausibel ut, men er faktisk feil eller påfunnet. For å forstå hvorfor, må du først forstå hva modellen faktisk gjør.

## Hvordan en LLM fungerer (kort forklart)

På et høyt nivå er en LLM en **neste-token-prediktor**. Gitt teksten så langt, predikerer den den mest sannsynlige neste token (ord/bit) basert på **statistiske mønstre lært under trening** — ikke ved å slå opp fakta i en database.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Hvorfor hallusinasjoner oppstår

- **Den genererer, den henter ikke.** Modellen produserer *plausibel* tekst, ikke *verifisert* fakta. Flytende språk og sannhet er uavhengige.
- **Ingen innebygd sannhetskontroll.** Ingenting inne i modellen sammenligner output mot virkeligheten.
- **Hull fylles selvsikkert.** Når treningsdata er tynt, tvetydig eller manglende (sjeldne APIer, nylige hendelser, obskure personer), produserer modellen fortsatt den statistisk sannsynlige fortsettelsen — som kan være feil.
- **Selvtillit er ikke korrekthet.** Et påfunnet sitat ser ut nøyaktig like flytende som et ekte.

## Hvordan redusere det

- **Forankr med RAG / kilder.** Hent relevante dokumenter og sett dem i prompten, slik at modellen svarer *fra* ekte tekst i stedet for hukommelse.
- **Be om sitater** og sjekk dem — påfunnede referanser avslører hallusinasjon.
- **Senk temperaturen** for faktuelle oppgaver, slik at modellen velger høyt-sannsynlighet (tryggere) tokens.
- **Tillat "Jeg vet ikke."** Instruér eksplisitt modellen til å si det når den er usikker, og fjern presset til å påfinne.
- **Bekreft med verktøy.** Kjør koden, spør en kalkulator/søk/database, eller kall et API i stedet for å stole på modellens hukommelse.
- **Begrens omfanget.** Spesifikke, veldefenerte prompts hallusiner mindre enn åpne.

## Hvorfor det betyr noe

LLM-er er i økende grad innebygd i produkter som ekte brukere stoler på. Fordi modellen **genererer plausibel tekst i stedet for å hente fakta**, er hallusinasjon en iboende oppførsel, ikke en sporadisk bug — så ingeniører må designe omkring det. Å vite *hvorfor* det skjer (neste-token-prediksjon uten sannhetskontroll) forteller deg *hvordan* du kan dempe det: forankring, sitater, lavere temperatur, tillatelse til å avstå, og ekstern verifisering. Å behandle LLM-output som et utkast som skal kontrolleres — ikke som et orakel — er forskjellen mellom en pålitelig funksjon og en selvsikker risiko.