LLM はなぜ hallucinate し、どう減らせますか？

Question

Accepted Answer

LLM が **hallucinate** するとは、confident で plausible に見えるが factually wrong または invented な text を出すことです。理由を理解するには、model が実際に何をしているかを理解する必要があります。

## LLM の仕組み（簡単に）

LLM は高レベルでは **next-token predictor** です。これまでの text に基づき、training 中に学んだ **statistical patterns** から最もありそうな next token を予測します。database で fact を lookup しているわけではありません。

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## hallucination が起きる理由

- **generate するのであって retrieve しない**。model は verified facts ではなく *plausible* text を作ります。fluency と truth は別です。
- **built-in truth check がない**。output を reality と照合する仕組みは内部にありません。
- **gap を confident に埋める**。rare APIs、recent events、obscure people など training data が薄い場合でも statistically likely continuation を出します。
- **confidence は correctness ではない**。fabricated citation も real citation と同じくらい流暢に見えます。

## 減らす方法

- **RAG / sources で ground する**。relevant documents を retrieve し prompt に入れ、memory ではなく real text から答えさせる。
- **citation を求めて確認する**。fabricated references は hallucination を示します。
- factual task では **temperature を下げる**。
- **"I don't know" を許す**。不確実ならそう言うよう明示し、invent する pressure を下げる。
- **tools で verify**。code を実行し、calculator/search/database/API を使う。
- **scope を narrow にする**。specific で bounded な prompt は open-ended な prompt より hallucinate しにくい。

## なぜ重要なのか

LLM は facts を retrieve するのではなく plausible text を generate するため、hallucination は偶発的 bug ではなく inherent behavior です。grounding、citation、lower temperature、abstention、external verification を設計に入れることが、reliable feature と confident liability を分けます。