Hoe bepaal je of een antwoord van AI betrouwbaar is, vooral voor productiecode?

Question

Accepted Answer

Behandel een AI-antwoord als een **zelfverzekerd concept van een deskundige maar onbetrouwbare collega**: nuttig, vaak correct, maar nooit op zichzelf gezaghebbend. Vertrouwen komt van *verificatie*, niet van hoe overtuigend de uitvoer klinkt.

## De kernmentaliteit

**Zelfvertrouwen is niet gerelateerd aan juistheid.** Een LLM genereert vloeiende tekst of het waar is of niet (het is een volgende-token-voorspeller, niet een feitendatabank). Een gefantaseerde API en een echte API zien er identiek uit. Je kunt vertrouwen dus niet beoordelen op basis van toon — alleen op basis van wat je kunt bevestigen.

## Een praktische checklist

- **Voer het uit.** Voor code is het sterkste signaal uitvoering: tests, typechecker, linter, compiler. Code die een echte testsuite doorstaat is veel betrouwbaarder dan code die alleen goed *oogt*.
- **Controleer op gefantaseerde API's.** Verifieer dat elke functie, methode, vlag en import daadwerkelijk bestaat — in de documentatie of de geïnstalleerde versie, niet uit geheugen. Uitgevonden-maar-plausibele API's zijn de klassieke mislukking.
- **Controleer tegen gezaghebbende bronnen.** Kruis beweringen af tegen officiële documentatie, de standaard of de broncode — niet tegen de modelherformulering ervan.
- **Redeneer over randgevallen en beveiliging.** Null/lege invoer, concurrency, foutpaden, injection, autorisatie. AI verwerkt vaak het happy path en laat de gevaarlijke hoeken achterwege.
- **Geef de voorkeur aan wat je kunt bevestigen.** Favoriseer benaderingen die je kunt testen of opzoeken boven slimme-maar-ondoorzichtige die je moet aannemen.
- **Eis menselijke review voor kritieke paden.** Authenticatie, betalingen, gegevenswissing, migraties, infra — een mens die het systeem begrijpt moet goedkeuren, ongeacht hoe goed het antwoord eruit ziet.

## Een snelle regel

```text
Verifiable + verified        → trust
Verifiable + not yet checked → verify before using
Not verifiable               → don't depend on it
```

## Waarom het belangrijk is

In productie is een fout antwoord dat *correct* *oogt* gevaarlijker dan één dat duidelijk kapot is, omdat het erdoorheen glipt. Naarmate AI meer code schrijft, verschuift het knelpunt van *genereren* naar *valideren*. Senioriteit is precies dit: weten dat vloeiendheid geen bewijs is, dat **het zelfvertrouwen van het model geen informatie draagt over juistheid**, en dat vertrouwen moet worden verdiend door tests, bronnen en menselijke review voor alles wat belangrijk is. De engineers die betrouwbaar blijven zijn degenen die verifiëren in plaats van geloven.