Kaip nustatyti, ar AI atsakymas yra patikimas, ypač dėl gamybos kodo?

Question

Accepted Answer

Traktuokite AI atsakymą kaip **pasitikintį juodraštį iš žinančio, bet nepatikimo kolegos**: naudingą, dažnai teisingą, bet niekada neautoritetingą savaime. Pasitikėjimas atsiranda iš *patikrinimo*, o ne iš to, kaip įtikinamai skamba rezultatas.

## Pagrindinė nuomonė

**Pasitikėjimas nėra susiję su teisingumu.** LLM generuoja sklandų tekstą, nepaisant to, ar jis tiesa (tai yra sekantį žetoną predikuojantis mechanizmas, o ne faktų saugykla). Haliacinuota API ir tikra atrodo vienodai. Todėl negali spręsti pasitikėjimo iš tono — tik iš to, ką gali patvirtinti.

## Praktinis patikrinimo sąrašas

- **Paleisk tai.** Dėl kodo stipriausias signalas yra vykdymas: testai, tipo tikrintuvas, linteris, kompiliatorius. Kodas, kuris praeina realią testų aplinką, yra daug patikimesnis nei kodas, kuris tik atrodo teisingai.
- **Patikrink dėl haliacinuotų API.** Patvirtink, kad kiekviena funkcija, metodas, vėliava ir importas iš tikrųjų egzistuoja — dokumentacijoje arba įdiegtoje versijoje, o ne iš atminties. Išrastos, bet tikėtinos API yra klasikinis gedimas.
- **Patvirtink iš patikimų šaltinių.** Palygink teiginius su oficialiais dokumentais, standartais arba šaltinio kodu — ne su modelio pačio pakartotinu nurodinėjimu.
- **Apgalvok kraštutinių atvejų ir saugumą.** Nulis/tušti įėjimai, konkurencija, klaidų keliai, injekcija, autorizacija. AI dažnai tvarko tik gerą atvejį ir pamiršta pavojingus kampus.
- **Pirmenybę teik tuo, ką gali patvirtinti.** Labiau pasitikėk požiūriais, kuriuos gali testuoti arba peržiūrėti, nei protingais, bet neaprašytais, kurie reikalautų pasitikėti be klausimų.
- **Reikalavk žmogaus peržiūrą kritiniams keliais.** Autentifikacija, mokėjimai, duomenų trynimas, migracija, infrastruktūra — žmogus, kuris supranta sistemą, turi patvirtinti, nepaisant to, kaip geras atrodo atsakymas.

## Greita taisyklė

```text
Verifiable + verified        → trust
Verifiable + not yet checked → verify before using
Not verifiable               → don't depend on it
```

## Kodėl tai svarbu

Gamyboje klaidingas atsakymas, kuris *atrodo* teisingus, yra pavojingesnis nei tas, kuris akivaizdžiai sugadintas, nes jis praslys. Kai AI rašo vis daugiau kodo, siauroji vieta pasislenka nuo *generavimo* prie *validavimo*. Vyresnio lygmens nuosprendis yra būtent tai: žinojimas, kad sklandumas nėra teisumo įrodymas, kad **modelio pasitikėjimas neneša jokios informacijos apie teisingumą**, ir kad pasitikėjimas turi būti pasiergutas testais, šaltiniais ir žmogaus peržiūra dėl visko, kas svarbu. Inžinieriai, kurie lieka patikimi, yra tie, kurie patvirtina, o ne tikisi.