Pourquoi les LLM hallucinent-ils, et comment pouvez-vous réduire ce phénomène ?

Question

Accepted Answer

Un LLM **hallucine** quand il produit un texte qui semble confiant et plausible mais qui est factuellement incorrect ou inventé. Pour comprendre pourquoi, vous devez d'abord comprendre ce que le modèle fait réellement.

## Comment fonctionne un LLM (brièvement)

Au niveau général, un LLM est un **prédicteur de token suivant**. Étant donné le texte jusqu'à présent, il prédit le token (mot/élément) suivant le plus probable en se basant sur **les motifs statistiques appris lors de l'entraînement** — et non en cherchant les faits dans une base de données.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Pourquoi les hallucinations se produisent

- **Il génère, il ne récupère pas.** Le modèle produit un texte *plausible*, non des faits *vérifiés*. La fluidité et la véracité sont indépendantes.
- **Aucune vérification de véracité intégrée.** Rien dans le modèle ne compare la sortie à la réalité.
- **Les lacunes sont comblées avec assurance.** Quand les données d'entraînement sont rares, ambiguës ou manquantes (APIs rares, événements récents, personnes obscures), le modèle émet quand même la continuation statistiquement probable — qui peut être incorrecte.
- **La confiance n'est pas la correctitude.** Une citation fabriquée a exactement la même fluidité qu'une vraie.

## Comment réduire ce phénomène

- **Ancrez avec RAG / sources.** Récupérez les documents pertinents et mettez-les dans le prompt, pour que le modèle réponde *à partir de* textes réels au lieu de la mémoire.
- **Demandez des citations** et vérifiez-les — les références fabriquées révèlent l'hallucination.
- **Abaissez la température** pour les tâches factuelles, afin que le modèle choisisse des tokens à haute probabilité (plus sûrs).
- **Permettez « Je ne sais pas. »** Instruisez explicitement le modèle à le dire quand il n'est pas sûr, supprimant la pression d'inventer.
- **Vérifiez avec des outils.** Exécutez le code, interrogez une calculatrice/moteur de recherche/base de données, ou appelez une API plutôt que de faire confiance au rappel du modèle.
- **Réduisez la portée.** Les prompts spécifiques et bien délimités hallucinent moins que les prompts ouverts.

## Pourquoi c'est important

Les LLM sont de plus en plus intégrés dans des produits que les vrais utilisateurs font confiance. Parce que le modèle **génère un texte plausible plutôt que de récupérer des faits**, l'hallucination est un comportement inhérent, pas un bug occasionnel — les ingénieurs doivent donc concevoir en fonction de ce phénomène. Savoir *pourquoi* cela se produit (prédiction du token suivant sans vérification de véracité) vous dit *comment* l'atténuer : ancrage, citations, température plus basse, permission d'abstention, et vérification externe. Traiter la sortie du LLM comme un brouillon à vérifier — et non comme un oracle — est la différence entre une fonctionnalité fiable et une responsabilité confiante.