Varför hallucinerar LLM:er, och hur kan du minska det?

Question

Accepted Answer

En LLM **hallucinerar** när den producerar text som låter självsäker och rimlig men är faktiskt fel eller påhittad. För att förstå varför måste du först förstå vad modellen faktiskt gör.

## Hur en LLM fungerar (kort version)

På en hög nivå är en LLM en **nästa-token-prediktor**. Given texten hittills förutspår den den mest sannolik nästa token (ord/del) baserat på **statistiska mönster inlärda under träning** — inte genom att slå upp fakta i en databas.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Varför hallucinationer uppstår

- **Den genererar, den hämtar inte.** Modellen producerar *rimlig* text, inte *verifierad* fakta. Flyt och sanning är oberoende.
- **Ingen inbyggd sanningskontroll.** Ingenting inne i modellen jämför utdata mot verkligheten.
- **Luckor fylls självsäkert.** När träningsdata är tunna, tvetydiga eller saknade (sällsynta API:er, senaste händelser, obskyra personer), producerar modellen ändå den statistiskt sannolika fortsättningen — som kan vara fel.
- **Självsäkerhet är inte korrekthet.** En påhittad citation ser exakt lika flytande ut som en verklig.

## Hur du minskar det

- **Förankra med RAG / källor.** Hämta relevanta dokument och lägg dem i prompten, så modellen svarar *från* verklig text istället för minne.
- **Fråga efter citat** och kontrollera dem — påhittade referenser avslöjar hallucination.
- **Sänk temperaturen** för faktiska uppgifter, så modellen väljer högre sannolikhet (säkrare) tokens.
- **Tillåt "Jag vet inte."** Ge modellen uttrycklig instruktion att säga så när den är osäker, vilket tar bort trycket att hitta på.
- **Verifiera med verktyg.** Kör koden, fråga en miniräknare/sök/databas, eller anropa ett API istället för att lita på modellens minne.
- **Begränsa omfattningen.** Specifika, väl definierade prompter hallucinerar mindre än öppna.

## Varför det spelar roll

LLM:er är i ökande grad inbäddade i produkter som verkliga användare litar på. Eftersom modellen **genererar rimlig text snarare än hämtar fakta**, är hallucination ett inneboende beteende, inte ett tillfälligt fel — så ingenjörer måste konstruera runt det. Att veta *varför* det händer (nästa-token-prediktion utan sanningskontroll) talar om *hur* du minskar det: förankring, citat, lägre temperatur, tillåtelse att abstå, och extern verifiering. Att behandla LLM-utdata som ett utkast som måste kontrolleras — inte en orakel — är skillnaden mellan en tillförlitlig funktion och en självsäker ansvar.