Vì sao LLM bị hallucinate, và làm thế nào để giảm thiểu?

Question

Accepted Answer

Một LLM **hallucinate** khi nó sinh ra văn bản nghe tự tin và hợp lý nhưng sai sự thật hoặc bịa đặt. Để hiểu vì sao, trước hết bạn phải hiểu model thực sự làm gì.

## LLM hoạt động ra sao (tóm tắt)

Ở mức cao, một LLM là một **bộ dự đoán token tiếp theo**. Với văn bản cho đến hiện tại, nó dự đoán token (từ/mảnh) tiếp theo có khả năng nhất dựa trên **các mẫu thống kê học được trong quá trình huấn luyện** — chứ không phải tra cứu sự thật trong một cơ sở dữ liệu.

```text
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ lấy mẫu một token, nối thêm, lặp lại
```

## Vì sao hallucination xảy ra

- **Nó sinh ra, không tra cứu.** Model tạo ra văn bản *hợp lý*, không phải sự thật *đã được kiểm chứng*. Sự trôi chảy và tính đúng đắn là độc lập với nhau.
- **Không có cơ chế kiểm tra sự thật.** Không có gì bên trong model so sánh output với thực tế.
- **Khoảng trống được lấp đầy một cách tự tin.** Khi dữ liệu huấn luyện ít, mơ hồ hoặc thiếu (API hiếm, sự kiện gần đây, người không nổi tiếng), model vẫn phát ra phần tiếp nối có khả năng thống kê cao nhất — điều có thể sai.
- **Sự tự tin không phải là tính đúng đắn.** Một trích dẫn bịa đặt trông trôi chảy y hệt một trích dẫn thật.

## Cách giảm thiểu

- **Grounding bằng RAG / nguồn.** Truy xuất các tài liệu liên quan và đưa vào prompt, để model trả lời *từ* văn bản thật thay vì từ trí nhớ.
- **Yêu cầu citation** và kiểm tra chúng — các tham chiếu bịa đặt sẽ lộ ra hallucination.
- **Hạ temperature** cho các tác vụ thông tin sự thật, để model chọn các token có xác suất cao (an toàn hơn).
- **Cho phép "tôi không biết".** Hướng dẫn rõ ràng để model nói vậy khi không chắc chắn, loại bỏ áp lực phải bịa.
- **Xác minh bằng công cụ.** Chạy code, truy vấn máy tính/tìm kiếm/cơ sở dữ liệu, hoặc gọi một API thay vì tin vào trí nhớ của model.
- **Thu hẹp phạm vi.** Các prompt cụ thể, có ranh giới rõ ràng ít hallucinate hơn các prompt mở.

## Tại sao điều này quan trọng

LLM ngày càng được nhúng vào các sản phẩm mà người dùng thực sự tin tưởng. Vì model **sinh ra văn bản hợp lý thay vì truy xuất sự thật**, hallucination là một hành vi cố hữu, không phải lỗi thỉnh thoảng — nên kỹ sư phải thiết kế để xử lý nó. Hiểu *vì sao* nó xảy ra (dự đoán token tiếp theo mà không kiểm tra sự thật) cho bạn biết *cách* giảm thiểu: grounding, citation, hạ temperature, cho phép từ chối, và xác minh bên ngoài. Coi output của LLM là một bản nháp cần kiểm tra — không phải lời sấm truyền — là khác biệt giữa một tính năng đáng tin cậy và một mối nguy tự tin.

LLM hoạt động ra sao (tóm tắt)

Vì sao hallucination xảy ra

Cách giảm thiểu

Tại sao điều này quan trọng

question.related