Bir LLM, kendine güvenen ve makul görünen ancak gerçeklere aykırı veya uydurma metni ürettiğinde halüsinasyon yapar. Neden olduğunu anlamak için önce modelin aslında ne yaptığını anlamalısınız.
Yüksek seviyede, bir LLM bir . Şimdiye kadarki metni göz önüne alarak, eğitim sırasında öğrenilen temelinde en olası sonraki token'ı (kelime/parça) tahmin eder — bir veritabanında gerçekleri aramaz.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLM'ler, gerçek kullanıcıların güvendiği ürünlere giderek daha çok gömülüyor. Model gerçekleri alan değil makul metni ürettiği için, halüsinasyon bir ara sıra hata değil, doğası gereği bir davranıştır — bu nedenle mühendisler bunu göz önünde bulundurarak tasarım yapmalıdır. Neden olduğunu bilmek (gerçek kontrolü olmayan sonraki-token tahmini) nasıl azaltacağınızı gösterir: temel alma, alıntılar, düşük sıcaklık, abstain etme izni ve harici doğrulama. LLM çıktısına bir kahin değil, kontrol edilecek bir taslak olarak muamele etmek — güvenilir bir özellik ile güvenli bir sorumluluğun farkıdır.