Kako presodite, ali je odgovor umetne inteligence zaupanja vreden, posebej za produkcijsko kodo?

Question

Accepted Answer

Obravnavajte odgovor umetne inteligence kot **zanesljivo osnutek od strokovnjaka, ki pa ni zanesljiv**: uporaben, pogosto pravi, vendar nikoli avtoriteta sam po sebi. Zaupanje izhaja iz *preverjanja*, ne pa iz tega, kako prepričljivo zveni izhod.

## Temeljni pristop

**Samozavest je nepovezana s pravilnostjo.** LLM generira tekoče besedilo, ne glede na to, ali je resnično (je napovedovalec naslednjih tokenov, ne hranilnik dejstev). Halucinirani API in pravi API se berejo enako. Zato zaupanja ne morete presojati po tonu — samo po tem, kar lahko potrdite.

## Praktični seznam

- **Zaženite ga.** Za kodo je najmočnejši signal izvajanje: testi, preverjanje tipov, linter, prevajač. Koda, ki prestane pravi nabor testov, je veliko bolj zaupanja vredna kot koda, ki le izgleda prav.
- **Preverite halucinirane API-je.** Potrdite, da res obstaja vsaka funkcija, metoda, zastavica in uvoz — v dokumentaciji ali nameščeni različici, ne iz spomina. Izmišljeni, toda verjetni API-ji so klasična napaka.
- **Preverite proti avtoritativnim virom.** Preverite trditve glede uradne dokumentacije, standarda ali izvorne kode — ne glede na ponovno navedbo modela.
- **Razmislite o mejnih primerih in varnosti.** Ničelni/prazni vhodi, sočasnost, poti napak, injiciranje, avtorizacija. Umetna inteligenca pogosto obravnava srečno pot in izpusti nevarna področja.
- **Imejte raje tisto, kar lahko potrdite.** Dajte prednost pristopom, ki jih lahko testirate ali pogledate, pred pametnimi, vendar neprozornimi, na katere bi se morali zanašati na besedo.
- **Zahtevajte človeški pregled za kritične poti.** Avtentifikacija, plačila, brisanje podatkov, migracije, infrastruktura — oseba, ki razume sistem, mora odobriti, ne glede na to, kako dobar je odgovor.

## Hitro pravilo

```text
Verifiable + verified        → trust
Verifiable + not yet checked → verify before using
Not verifiable               → don't depend on it
```

## Zakaj je to pomembno

V produkciji je napačen odgovor, ki *izgleda* pravi, bolj nevaren kot očitno pokvarjen, ker gre skozi neopažen. Ko umetna inteligenca piše več kode, se ozko grlo seli z *ustvarjanja* na *preverjanje*. Starejša presoja je natanko to: vedenje, da je tekoče besedilo ne pomeni, da je pravilno, da **samozavest modela ne nosi nobene informacije o pravilnosti**, in da mora biti zaupanje pridobljeno s testi, viri in človekovim pregledom za vse, kar je pomembno. Inženirji, ki ostanejo zanesljivi, so tisti, ki preverjajo namesto da bi verjeli.