Një LLM hallucinon kur prodhon tekst që duket i sigurt dhe i besueshëm, por është faktikisht i gabuar ose i shpikur. Për të kuptuar pse, fillimisht duhet të kuptoni se çfarë bën në të vërtetë modeli.
Në një nivel të lartë, një LLM është një . Bazuar në tekstin deri tani, ai parashikon tokenin (fjalën/pjesën) më të mundshëm të ardhshëm bazuar në — jo duke kërkuar në një bazë të dhënash.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLM-et janë gjithnjë e më shumë të integruara në produktet që përdoruesit real besojnë. Sepse modeli gjeneron tekst të besueshëm në vend të gjetjes së fakteve, hallucination-i është një sjellje e brendshme, jo një gabim i rara — kështu inxhinierët duhet të dizajnojnë rreth saj. Të ditur pse ndodh (parashikimi i tokenit të ardhshëm pa kontroll të vërtetësisë) ju tregon si ta zbusmit atë: bazim, citata, temperaturë më e ulët, lejim për të abstënuar, dhe verifikim të jashtëm. Trajtimi i daljes LLM si një draft që duhet kontrolluar — jo si një orakull — është ndryshimi ndërmjet një karakteristike të besueshme dhe një përgjegjese të sigurt.