Sebuah LLM berhalusinasi apabila ia menghasilkan teks yang kedengaran yakin dan munasabah tetapi sebenarnya salah dari segi fakta atau direka-reka. Untuk memahami sebabnya, anda perlu memahami dahulu apa yang sebenarnya dilakukan oleh model itu.
Pada peringkat tinggi, sebuah LLM ialah . Diberi teks setakat ini, ia meramalkan token (perkataan/cebisan) seterusnya yang paling berkemungkinan berdasarkan — bukan dengan mencari fakta dalam pangkalan data.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLM semakin tertanam dalam produk yang dipercayai oleh pengguna sebenar. Oleh kerana model menjana teks yang munasabah dan bukannya mendapatkan semula fakta, halusinasi ialah tingkah laku yang wujud secara semula jadi, bukan pepijat yang berlaku sekali-sekala — jadi jurutera mesti mereka bentuk dengan mengambil kira perkara ini. Mengetahui mengapa ia berlaku (ramalan token seterusnya tanpa pemeriksaan kebenaran) memberitahu anda bagaimana untuk mengurangkannya: penambatan, petikan rujukan, temperature yang lebih rendah, kebenaran untuk mengaku tidak tahu, dan pengesahan luaran. Menganggap output LLM sebagai draf yang perlu disemak — bukan sebagai pakar yang tidak boleh disangkal — ialah perbezaan antara ciri yang boleh dipercayai dan liabiliti yang penuh yakin.