Por que LLMs alucinam e como você pode reduzir isso?

Question

Accepted Answer

Um LLM **alucina** quando produz texto que soa confiante e plausível, mas é factualment incorreto ou inventado. Para entender por quê, você precisa entender primeiro o que o modelo realmente faz.

## Como um LLM funciona (brevemente)

Em alto nível, um LLM é um **preditor de próximo token**. Dado o texto até agora, ele prevê o próximo token (palavra/pedaço) mais provável com base em **padrões estatísticos aprendidos durante o treinamento** — não consultando fatos em um banco de dados.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Por que as alucinações acontecem

- **Ele gera, não recupera.** O modelo produz texto *plausível*, não fatos *verificados*. Fluência e verdade são independentes.
- **Sem verificação de verdade incorporada.** Nada dentro do modelo compara a saída contra a realidade.
- **Lacunas são preenchidas com confiança.** Quando os dados de treinamento são escassos, ambíguos ou ausentes (APIs raras, eventos recentes, pessoas obscuras), o modelo ainda emite a continuação estatisticamente provável — que pode estar errada.
- **Confiança não é correção.** Uma citação fabricada parece exatamente tão fluente quanto uma real.

## Como reduzir isso

- **Fundamentar com RAG / fontes.** Recupere documentos relevantes e coloque-os no prompt, para que o modelo responda *a partir de* texto real em vez de memória.
- **Peça por citações** e verifique-as — referências fabricadas revelam alucinação.
- **Diminua a temperatura** para tarefas factuais, para que o modelo escolha tokens de alta probabilidade (mais seguros).
- **Permita "Não sei".** Instrua explicitamente o modelo a dizer isso quando incerto, removendo a pressão para inventar.
- **Verifique com ferramentas.** Execute o código, consulte uma calculadora/busca/banco de dados ou chame uma API em vez de confiar na memória do modelo.
- **Estreite o escopo.** Prompts específicos e bem delimitados alucinam menos do que prompts abertos.

## Por que isso importa

LLMs estão cada vez mais incorporados em produtos que usuários reais confiam. Como o modelo **gera texto plausível em vez de recuperar fatos**, alucinação é um comportamento inerente, não um bug ocasional — então engenheiros devem projetar em torno disso. Saber *por quê* isso acontece (previsão de próximo token sem verificação de verdade) diz *como* mitigá-lo: fundamentação, citações, temperatura mais baixa, permissão para se abster e verificação externa. Tratar a saída de LLM como um rascunho a ser verificado — não como um oráculo — é a diferença entre um recurso confiável e uma responsabilidade confiante.