Ein LLM halluziniert, wenn es Text produziert, der selbstbewusst und plausibel klingt, aber faktisch falsch oder erfunden ist. Um zu verstehen, warum das passiert, musst du zunächst verstehen, was das Modell wirklich tut.
Auf hoher Ebene ist ein LLM ein . Gegeben den bisherigen Text prognostiziert es das wahrscheinlichste nächste Token (Wort/Teil) basierend auf — nicht durch Abfrage von Fakten in einer Datenbank.
input: "The capital of Australia is"
model: P(next token) → "Canberra" 0.71, "Sydney" 0.18, ...
→ samples a token, appends it, repeats
LLMs sind zunehmend in Produkten eingebettet, denen echte Nutzer vertrauen. Weil das Modell plausiblen Text generiert statt Fakten abruft, ist Halluzination ein inhärentes Verhalten, kein gelegentlicher Fehler — daher müssen Ingenieure es umdesignen. Zu wissen, warum es passiert (Next-Token-Vorhersage ohne Wahrheitsprüfer), zeigt dir, wie du es mildern kannst: Erden, Zitate, niedrigere Temperatur, Erlaubnis zu abstinieren und externe Verifizierung. LLM-Ausgabe als Entwurf zu behandeln, der überprüft werden muss — nicht als Orakel — ist der Unterschied zwischen einer zuverlässigen Funktion und einer selbstsicheren Haftung.
Eine Sammlung von IT-Interviewfragen mit ausführlichen Antworten — vom Junior bis zum Senior.
Spenden