Għaliex LLMs jhalluċinaw, u kif tista' tnaqqasha?

Question

Accepted Answer

LLM **jhalluċina** meta jipproduċi test li jdaħħal fiduċja u jidher plawsibli iżda huwa faktwalmented ħażin jew immaġinat. Biex tifhem għaliex, l-ewwel trid tifhem x'inhu l-mudell attwali jagħmel.

## Kif LLM jaħdem (brevement)

F'livell għoli, LLM hu **predittatur tal-next-token**. Mogħti t-test sal-issa, jipprediċi l-iktar token probabbli li jmiss (kelma/biċċa) ibbażat fuq **mudelli statistiċi mtaʿallmu matul it-taħriġ** — mhux billi tfittex il-fatti f'database.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
```

## Għaliex jiħdtu halluċinazzjonijiet

- **Jipprodotti, mhuwiex jirtreva.** Il-mudell jipproduċi test *plawsibli*, mhux fatti *verifikati*. Il-fluwenza u l-verità huma indipendenti.
- **Nessun check tal-verità integrat.** Xejn fl-mudell jqabbel il-output kontra r-realtà.
- **Lakuni jiġu mimlija b'fiduċja.** Meta d-data tat-taħriġ hija ċkejka, ambigwa, jew nieqsa (APIs rari, avvenimenti reċenti, nies obskuri), il-mudell xorta jemiċċi l-kontinwazzjoni statistikalment probabbli — li tista' tkun ħażina.
- **Il-fiduċja mhix korrettezza.** Ċitazzjoni fabrkata tidher eżattament l-istess fluwenti bħal waħda reali.

## Kif tnaqqasha

- **Grounding bis-RAG / sorsi.** Irtreva dokumenti relevanti u poġġihom fil-prompt, sabiex il-mudell jigħi *minn* test reali minflok mill-memorja.
- **Talbu għal ċitazzjonijiet** u ċċekkjahom — referenzi fabrikkati jrivelau halluċinazzjoni.
- **Inaqqas it-temperatura** għat-tasksa fattwaliment, sabiex il-mudell jagħżel tokens b'probabbilità għolja (aktar siguri).
- **Permetti "Ma nafx."** Istruzzjoni espliċit lil-mudell biex jgħid hekk meta mhux ċert, ittallex il-pressjoni li jivventa.
- **Verifika b'tools.** Qiegħed il-kodiċi, stqarri kalkola/serċa/database, jew daħħal API minflok ma taħsibx ir-rezzall tal-mudell.
- **Istrinġi l-iskop.** Prompts speċifiċi u magħluqa halluċinaw inqas minn dawk miftuħa.

## Għaliex hija importanti

LLMs huma progressivament integrati f'prodotti li l-utenti reali joffdu. Minħabba li l-mudell **jipprodotti test plawsibli minflok jirtreva fatti**, halluċinazzjoni hija imġieba inħerenta, mhux bug okkażjonali — allura l-inġiniera jrid jiddisinjaw madwaru. Tifhem *għaliex* jiħdu (predizzjoni ta' next-token mingħajr truth check) jgħidlek *kif* tutkattaħha: grounding, ċitazzjonijiet, temperatura baxxa, permess li tabstjieni, u verifikazzjoni esterna. Tittrattja l-output ta' LLM bħala drafft li għandha tiċċekkja — mhux oracle — hija d-differenza bejn feature affidabil u responsabilità fiducjusa.