एक LLM तब hallucinate करता है जब वह ऐसा text उत्पन्न करता है जो आत्मविश्वास से भरा और प्रशंसनीय लगता है लेकिन factually गलत या मनगढ़ंत होता है। यह समझने के लिए कि ऐसा क्यों होता है, आपको पहले यह समझना होगा कि model वास्तव में क्या करता है।
उच्च स्तर पर, एक LLM एक है। अब तक के text को देखते हुए, यह के आधार पर सबसे संभावित अगले token (शब्द/टुकड़े) की भविष्यवाणी करता है — किसी database में facts खोजकर नहीं।
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLMs तेजी से ऐसे products में embedded हो रहे हैं जिन पर असली users भरोसा करते हैं। चूंकि model facts retrieve करने के बजाय प्रशंसनीय text generate करता है, hallucination एक अंतर्निहित व्यवहार है, कभी-कभार का bug नहीं — इसलिए engineers को इसके आसपास design करना होगा। यह जानना कि यह क्यों होता है (बिना truth check के next-token prediction) आपको बताता है कि इसे कैसे कम किया जाए: grounding, citations, कम temperature, abstain करने की अनुमति, और बाहरी verification। LLM output को एक draft के रूप में मानना जिसे जांचा जाना है — न कि एक oracle के रूप में — एक भरोसेमंद feature और एक आत्मविश्वासी देयता के बीच का अंतर है।