LLM hallucínuje, když produkuje text, který zní sebevědomě a věrohodně, ale je fakticky nesprávný nebo vymyšlený. Abychom pochopili proč, musíme nejdřív pochopit, co model skutečně dělá.
Na vysoké úrovni je LLM . Na základě textu dosud vygenerovaného předpovídá nejpravděpodobnější další token (slovo/část) podle — ne vyhledáváním faktů v databázi.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLM jsou čím dál více zasazeny do produktů, kterým skuteční uživatelé věří. Protože model generuje věrohodný text spíše než vyhledává fakty, hallucínace je vnitřní chování, ne příležitostná chyba — inženýři se proto musí navrhovat okolo ní. Vědět proč k tomu dochází (predikce dalšího tokenu bez kontroly pravdivosti) vám řekne jak to zmírnit: ukotvení, citace, nižší teplota, povolení abstinence a externí ověření. Zacházení s výstupem LLM jako s konceptem k ověření — ne jako s věštcem — je rozdíl mezi spolehlivou funkcí a sebevědomou odpovědností.
Knihovna IT otázek k pohovoru s podrobnými odpověďmi — od Junior po Senior.
Přispět