为什么 LLMs 会产生幻觉，以及如何降低它？

Question

Accepted Answer

LLM 在生成听起来自信且合理但事实上错误或编造的文本时会发生**幻觉**。要理解原因，你首先必须理解该模型实际上做了什么。

## LLM 如何工作（简要说明）

在高层次上，LLM 是一个**next-token 预测器**。给定目前为止的文本，它根据**训练期间学到的统计模式**预测最可能的下一个 token（单词/片段）——而不是通过在数据库中查找事实。

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## 为什么会发生幻觉

- **它生成，而不是检索。** 该模型生成*合理的*文本，而不是*经过验证的*事实。流畅性和真实性是独立的。
- **没有内置的真实性检查。** 模型内部没有任何东西将输出与现实进行比较。
- **空白被自信地填充。** 当训练数据稀少、模糊或缺失时（罕见的 API、最近的事件、不知名的人物），模型仍然会发出统计上可能的延续——这可能是错误的。
- **信心不等于正确性。** 编造的引用看起来与真实引用完全一样流畅。

## 如何降低它

- **使用 RAG / 源文档进行接地。** 检索相关文档并将其放入提示中，以便模型从*真实文本*而不是记忆中回答。
- **要求引用**并检查它们——编造的参考会揭示幻觉。
- **为事实性任务降低温度**，以便模型选择高概率（更安全的）token。
- **允许