LLM галлюцинирует, когда производит текст, который звучит уверенно и правдоподобно, но фактически неправильный или выдуманный. Чтобы понять, почему это происходит, сначала нужно разобраться, что на самом деле делает модель.
Высокоуровнево LLM — это . Учитывая текст до сих пор, она предсказывает наиболее вероятный следующий токен (слово/часть) на основе — не путём поиска фактов в базе данных.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLM всё чаще встраиваются в продукты, которым доверяют настоящие пользователи. Поскольку модель генерирует правдоподобный текст, а не извлекает факты, галлюцинация — это встроенное поведение, а не случайный баг — поэтому инженеры должны проектировать с учётом этого. Понимание почему это происходит (предсказание следующего токена без проверки истинности) говорит вам как это смягчить: обоснование, цитаты, более низкая температура, разрешение воздержаться и внешняя проверка. Рассматривание выхода LLM как черновика, который нужно проверить — а не как оракула — это разница между надёжной функцией и уверенной уязвимостью.