ఒక LLM hallucinates చేస్తుంది, అది నిజానికి తప్పుగా లేదా కల్పితమైన కానీ ఆత్మవిశ్వాసంగా మరియు ఆమోదయోగ్యంగా ఉన్న వచనాన్ని ఉత్పత్తి చేసినప్పుడు. ఇది ఎందుకు జరుగుతుందో అర్థం చేసుకోవడానికి, మీరు ముందుగా మోడల్ వాస్తవానికి ఏమి చేస్తుందో అర్థం చేసుకోవాలి.
উচ్చ స్థరంలో, ఒక LLM . ఇప్పటి వరకు ఉన్న వచనం ఇచ్చినప్పుడు, ఇది ఆధారంగా చాలా సంభావ్యమైన తదుపరి టోకెన్ (word/piece)ను predict చేస్తుంది — డేటాబేస్లో ఫ్యాక్టులను చూసుకోవడం ద్వారా కాదు.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLM లు వాస్తవ users ను నమ్ముకునే products లో点点 చేయబడుతున్నాయి. Hallucination మోడల్ ఫ్యాక్టులను retrieve కుండా plausible టెక్స్ట్ generate చేసినందున, ఇది అనుకూల bug కాకుండా inherent behavior — కాబట్టి engineers లు దాని చుట్టూ design చేయాలి. ఇది ఎందుకు జరుగుతుందో తెలుసుకోవడం (next-token prediction నిజం check లేకుండా) మీకు దీనిని ఎలా mitigate చేయాలో చెబుతుంది: grounding, citations, lower temperature, abstain చేయడానికి permission, మరియు external verification. LLM output ను oracle కాకుండా check చేయవలసిన draft గా treat చేయడం — reliable feature మరియు confident liability మధ్య తేడా.