Egy LLM hallucinációt produkál, amikor olyan szöveget állít elő, amely magabiztos és valószerű hangzású, de faktográfiailag helytelen vagy kitalált. Annak megértéséhez, hogy miért történik ez, először meg kell értenünk, hogy az modell valójában mit csinál.
Magas szinten az LLM egy . Az eddigi szöveg alapján az jósolja meg a legvalószínűbb következő tokent (szó/rész) — nem azzal, hogy tényeket keres fel egy adatbázisból.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
Az LLM-ek egyre inkább beágyazódnak olyan termékekbe, amelyekben valós felhasználók bíznak. Mivel a modell valószerű szöveget generál, nem pedig tényeket keres le, a hallucináció velejárója a viselkedésnek, nem egy alkalmi hiba — tehát a mérnököknek ezzel körül kell tervezniük. Annak ismerete, hogy miért történik (következő-token-előrejelzés valóságellenőrzés nélkül), elmondja, hogyan lehet csökkenteni: alapozás, hivatkozások, alacsonyabb hőmérséklet, abstinálási engedély és külső ellenőrzés. Az LLM kimenet vázlatként kezelése a felülvizsgálat tárgyára — nem pedig orákulumként — a különbség egy megbízható funkció és egy magabiztos felelősség között.