Waarom halluceren LLM's, en hoe kun je dit verminderen?

Question

Accepted Answer

Een LLM **hallucineert** wanneer het tekst produceert die zelfverzekerd en aannemelijk klinkt, maar feitelijk onjuist of verzonnen is. Om te begrijpen waarom dit gebeurt, moet je eerst begrijpen wat het model werkelijk doet.

## Hoe een LLM werkt (kort)

Op hoog niveau is een LLM een **next-token predictor**. Op basis van de tekst tot nu toe, voorspelt het het meest waarschijnlijke volgende token (woord/stuk) op basis van **statistische patronen die tijdens training zijn geleerd** — niet door feiten in een database op te zoeken.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Waarom hallucinations gebeuren

- **Het genereert, het haalt niet op.** Het model produceert *aannemelijke* tekst, niet *geverifieerde* feiten. Vloeiendheid en waarheid zijn onafhankelijk.
- **Geen ingebouwde waarheidscontrole.** Niets in het model vergelijkt de output met de werkelijkheid.
- **Gaten worden zelfverzekerd ingevuld.** Wanneer trainingsgegevens schaars, ambigu of ontbreekt (zeldzame API's, recente gebeurtenissen, obscure personen), produceert het model nog steeds de statistisch waarschijnlijke vervolg — wat fout kan zijn.
- **Vertrouwen is niet correct.** Een verzonnen citaat ziet er exact zo vloeiend uit als een echt.

## Hoe je het kunt verminderen

- **Anker met RAG / bronnen.** Haal relevante documenten op en plaats ze in de prompt, zodat het model *van* echte tekst antwoordt in plaats van uit geheugen.
- **Vraag om citaten** en controleer ze — verzonnen referenties onthullen hallucinations.
- **Verlaag de temperature** voor feitelijke taken, zodat het model hoog-waarschijnlijke (veiliger) tokens kiest.
- **Sta 'Ik weet het niet' toe.** Instrueer het model expliciet om dit te zeggen wanneer het onzeker is, waardoor de druk om iets uit te vinden verdwijnt.
- **Verifieer met tools.** Voer de code uit, vraag een rekenmachine/zoekopdracht/database of roep een API aan in plaats van op het geheugen van het model te vertrouwen.
- **Beperk de scope.** Specifieke, goed afgebakende prompts hallucineert minder dan open prompts.

## Waarom het belangrijk is

LLM's zijn steeds meer ingebed in producten waar echte gebruikers op vertrouwen. Omdat het model **aannemelijke tekst genereert in plaats van feiten op te halen**, is hallucination een inherent gedrag, geen occasioneel bug — dus engineers moeten eromheen ontwerpen. Het weten *waarom* het gebeurt (next-token prediction zonder waarheidscontrole) vertelt je *hoe* je het kunt beperken: ankering, citaten, lagere temperature, toestemming om af te zien, en externe verificatie. LLM-output als een concept behandelen dat moet worden gecontroleerd — niet als een orakel — is het verschil tussen een betrouwbare feature en een zelfverzekerde verplichting.