Wie beurteilst du, ob eine KI-Antwort vertrauenswürdig ist, besonders für Production-Code?

Question

Accepted Answer

Behandle eine KI-Antwort als einen **selbstbewussten Entwurf eines sachkundigen, aber unzuverlässigen Kollegen**: nützlich, oft richtig, aber nie von sich aus maßgeblich. Vertrauen entsteht durch *Verifikation*, nicht durch die Überzeugungskraft der Ausgabe.

## Die grundlegende Einstellung

**Selbstbewusstsein ist unabhängig von Korrektheit.** Ein LLM erzeugt fließenden Text, ob er wahr ist oder nicht (es ist ein Next-Token-Prädiktor, keine Faktenspeicher). Eine halluzinierte API und eine echte sehen identisch aus. Daher kannst du Vertrauen nicht anhand des Tones beurteilen — nur anhand dessen, was du bestätigen kannst.

## Eine praktische Checkliste

- **Lass es laufen.** Bei Code ist das stärkste Signal die Ausführung: Tests, Type Checker, Linter, Compiler. Code, der eine echte Test Suite besteht, ist weitaus vertrauenswürdiger als Code, der nur richtig aussieht.
- **Überprüfe auf halluzinierte APIs.** Stelle sicher, dass jede Funktion, Methode, Flag und jeder Import tatsächlich existiert — in der Dokumentation oder der installierten Version, nicht aus dem Gedächtnis. Erfundene, aber plausible APIs sind der klassische Fehler.
- **Überprüfe anhand zuverlässiger Quellen.** Überprüfe Aussagen mit offiziellen Dokumenten, dem Standard oder dem Quellcode — nicht mit einer Umformulierung des Modells selbst.
- **Überlege zu Grenzfällen und Sicherheit.** Null/leere Eingaben, Nebenläufigkeit, Fehlerpfade, Injection, Autorisierung. KI behandelt oft den Happy Path und lässt die gefährlichen Ecken aus.
- **Bevorzuge, was du bestätigen kannst.** Wähle Ansätze, die du testen oder nachschlagen kannst, gegenüber cleveren, aber undurchsichtigen, bei denen du dich verlassen müsstest.
- **Verlange menschliche Überprüfung bei kritischen Pfaden.** Authentifizierung, Zahlungen, Datenlöschung, Migrationen, Infrastruktur — ein Mensch, der das System versteht, muss genehmigen, unabhängig davon, wie gut die Antwort aussieht.

## Eine schnelle Regel

```text
Verifiable + verified        → trust
Verifiable + not yet checked → verify before using
Not verifiable               → don't depend on it
```

## Warum es wichtig ist

In Production ist eine falsche Antwort, die *richtig aussieht*, gefährlicher als eine, die offensichtlich kaputt ist, weil sie durchschlüpft. Je mehr KI Code schreibt, desto mehr verlagert sich der Engpass von der *Generierung* zur *Validierung*. Seniorität ist genau das: zu wissen, dass Flüssigkeit nicht evidenzbasiert ist, dass **das Selbstbewusstsein des Modells keine Information über Korrektheit trägt**, und dass Vertrauen durch Tests, Quellen und menschliche Überprüfung bei allem erworben werden muss, das zählt. Die Ingenieure, die zuverlässig bleiben, sind diejenigen, die verifizieren statt zu glauben.