Perché gli LLM allucinano e come puoi ridurlo?

Question

Accepted Answer

Un LLM **allucina** quando produce testo che suona sicuro e plausibile ma è faticamente errato o inventato. Per capire il motivo, devi prima capire cosa fa effettivamente il modello.

## Come funziona un LLM (brevemente)

A un alto livello, un LLM è un **predittore del token successivo**. Dato il testo finora, predice il token (parola/pezzo) più probabile successivo basato su **modelli statistici appresi durante l'addestramento** — non guardando i fatti in un database.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Perché avvengono le allucinazioni

- **Genera, non recupera.** Il modello produce testo *plausibile*, non fatti *verificati*. La fluidità e la verità sono indipendenti.
- **Nessun controllo di verità integrato.** Nulla all'interno del modello confronta l'output rispetto alla realtà.
- **I vuoti vengono riempiti con sicurezza.** Quando i dati di addestramento sono scarsi, ambigui o mancanti (API rare, eventi recenti, persone oscure), il modello emette comunque il proseguimento statisticamente probabile — che può essere sbagliato.
- **La sicurezza non è correttezza.** Una citazione fabbricata appare esattamente fluida quanto una reale.

## Come ridurlo

- **Ancorare con RAG / fonti.** Recupera documenti rilevanti e inseriscili nel prompt, così il modello risponde *da* testo reale invece che dalla memoria.
- **Chiedi citazioni** e controllale — i riferimenti fabbricati rivelano allucinazione.
- **Abbassa la temperatura** per compiti fattuali, così il modello sceglie token ad alta probabilità (più sicuri).
- **Permetti "Non lo so".** Istruisci esplicitamente il modello a dirlo quando non è sicuro, togliendo la pressione di inventare.
- **Verifica con strumenti.** Esegui il codice, interroga una calcolatrice/ricerca/database o chiama un'API piuttosto che fidarti del ricordo del modello.
- **Restringi l'ambito.** I prompt specifici e ben delimitati allucinano meno di quelli aperti.

## Perché è importante

Gli LLM sono sempre più incorporati in prodotti di cui gli utenti reali si fidano. Poiché il modello **genera testo plausibile piuttosto che recuperare fatti**, l'allucinazione è un comportamento intrinseco, non un bug occasionale — così gli ingegneri devono progettare attorno ad esso. Sapere *perché* accade (previsione del token successivo senza controllo di verità) ti dice *come* attenuarlo: ancoramento, citazioni, temperatura più bassa, permesso di astenersi, e verifica esterna. Trattare l'output dell'LLM come una bozza da controllare — non un oracolo — è la differenza tra una feature affidabile e un passivo sicuro.