Model LLM halucynuje, gdy generuje tekst, który brzmi pewnie i wiarygodnie, ale jest faktycznie nieprawdziwy lub wymyślony. Aby zrozumieć dlaczego, musisz najpierw zrozumieć, co model faktycznie robi.
Na wysokim poziomie LLM jest . Biorąc pod uwagę tekst do tej pory, przewiduje najbardziej prawdopodobny następny token (słowo/część) na podstawie — nie poprzez sprawdzanie faktów w bazie danych.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
Modele LLM są coraz bardziej wbudowywane w produkty, którym ufają rzeczywiści użytkownicy. Ponieważ model generuje wiarygodny tekst zamiast pobierać fakty, halucynacja jest wbudowanym zachowaniem, a nie okazjonalnym błędem — inżynierowie muszą więc projektować wokół tego. Poznanie dlaczego to się dzieje (predykcja następnego tokenu bez sprawdzenia prawdziwości) mówi ci jak to złagodzić: ugruntowanie, cytowania, niższa temperatura, pozwolenie na wstrzymanie się od odpowiedzi i zewnętrzna weryfikacja. Traktowanie wyników LLM jako szkicu do sprawdzenia — a nie wyroczni — to różnica między niezawodną funkcją a pewnością odpowiadającą zobowiązaniu.