LLM จะเกิดการ hallucinate เมื่อมันสร้างข้อความที่ฟังดูมั่นใจและน่าเชื่อถือ แต่ที่จริงแล้วผิดข้อเท็จจริงหรือเป็นเรื่องที่กุขึ้นมา เพื่อจะเข้าใจว่าทำไม คุณต้องเข้าใจก่อนว่าโมเดลทำอะไรจริง ๆ
ในระดับภาพรวม LLM คือ เมื่อให้ข้อความที่มีมาจนถึงตอนนี้ มันจะทำนาย token (คำ/ชิ้นส่วน) ถัดไปที่น่าจะเป็นไปได้มากที่สุดโดยอาศัย ไม่ใช่การไปค้นข้อเท็จจริงจากฐานข้อมูล
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLM ถูกฝังเข้าไปในผลิตภัณฑ์ที่ผู้ใช้จริงไว้วางใจมากขึ้นเรื่อย ๆ เพราะโมเดล สร้างข้อความที่ดูน่าเชื่อขึ้นมาแทนที่จะดึงข้อเท็จจริง hallucination จึงเป็นพฤติกรรมโดยธรรมชาติ ไม่ใช่บั๊กที่เกิดขึ้นเป็นครั้งคราว ดังนั้นวิศวกรจึงต้องออกแบบโดยคำนึงถึงมัน การรู้ว่า ทำไม มันถึงเกิด (การทำนาย token ถัดไปโดยไม่มีการตรวจสอบความจริง) จะบอกคุณว่า จะ บรรเทามันได้ อย่างไร ทั้งการยึดโยงข้อมูล การอ้างอิงแหล่งที่มา การลดค่า temperature การอนุญาตให้งดตอบ และการตรวจสอบจากภายนอก การมองผลลัพธ์ของ LLM เป็นร่างที่ต้องตรวจสอบ ไม่ใช่คำพยากรณ์ที่เชื่อถือได้สมบูรณ์ คือความแตกต่างระหว่างฟีเจอร์ที่เชื่อถือได้กับภาระที่ดูมั่นใจแต่เป็นอันตราย