Hur bedömer du om ett svar från AI är tillförlitligt, särskilt för produktionskod?

Question

Accepted Answer

Behandla ett AI-svar som ett **självförtroendefullt utkast från en kunnig men opålitlig kollega**: användbart, ofta rätt, men aldrig auktoritativt på egen hand. Tillförlitlighet kommer från *verifiering*, inte från hur övertygande resultatet låter.

## Grundläggande mentalitet

**Självförtroende är orelaterat till korrekthet.** En LLM genererar flytande text oavsett om det är sant eller inte (det är en nästa-token-prediktor, inte en faktasamling). En hallucerad API och en verklig API ser identiska ut. Du kan därför inte bedöma tillit genom ton — bara genom vad du kan bekräfta.

## En praktisk checklista

- **Kör det.** För kod är den starkaste signalen exekvering: tester, typkontroll, linter, kompilator. Kod som klarar en verklig testsvit är mycket mer tillförlitlig än kod som bara ser rätt ut.
- **Kontrollera för hallucerade API:er.** Verifiera att varje funktion, metod, flagga och import faktiskt finns — i dokumentationen eller den installerade versionen, inte från minnet. Uppfunna-men-trovärdiga API:er är det klassiska misslyckandet.
- **Verifiera mot auktoritativa källor.** Krysskontrollera påståenden mot officiell dokumentation, standarden eller källkoden — inte mot modellens egen omformulering.
- **Resonera om gränsfall och säkerhet.** Null/tomma inmatningar, samtidighet, felvägar, injektioner, auktorisering. AI hanterar ofta den lyckliga vägen och utelämnar de farliga hörnena.
- **Föredra det du kan bekräfta.** Välj tillvagagångar du kan testa eller slå upp framför smarta-men-ogenomskinliga som du skulle behöva tro på.
- **Kräv mänsklig granskning för kritiska vägar.** Autentisering, betalningar, datataborttagning, migreringar, infrastruktur — en människa som förstår systemet måste godkänna, oavsett hur bra svaret ser ut.

## En snabb regel

```text
Verifiable + verified        → trust
Verifiable + not yet checked → verify before using
Not verifiable               → don't depend on it
```

## Varför det spelar roll

I produktion är ett fel svar som *ser* rätt ut farligare än ett som är uppenbart bruten, eftersom det smiter igenom. I takt med att AI skriver mer kod skiftar flaskhalsen från *generering* till *validering*. Senior bedömning är just detta: att veta att flytande text inte är bevis, att **modellens självförtroende bär ingen information om korrekthet**, och att tillit måste tjänas genom tester, källor och mänsklig granskning på allt som spelar roll. De ingenjörer som förblir pålitliga är de som verifierar snarare än tror.