Un LLM hallucinează atunci când produce text care sună confident și plauzibil, dar care este factual greșit sau inventat. Pentru a înțelege de ce se întâmplă acest lucru, trebuie mai întâi să înțelegi ce face modelul de fapt.
La un nivel înalt, un LLM este un . Având în vedere textul anterior, el prezice cel mai probabil token următor (cuvânt/fragment) pe baza — nu prin căutarea faptelor într-o bază de date.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLM-urile sunt din ce în ce mai mult integrate în produse pe care utilizatorii reali le așteaptă. Deoarece modelul generează text plauzibil în loc să recupereze fapte, hallucinația este un comportament inerent, nu un bug ocazional — așadar inginerii trebuie să proiecteze ținând cont de aceasta. Știind de ce se întâmplă (predicția token următor fără verificare adevărului) îți spune cum să o atenuezi: ancorare, citate, temperatură mai scăzută, permisiune de a te abține și verificare externă. Tratarea ieșirii LLM ca pe o schiță care trebuie verificată — nu ca pe un oracol — este diferența dintre o funcționalitate de încredere și o pasivitate sigură de sine.