ਤੁਸੀਂ ਇਹ ਕਿਵੇਂ ਨਿਰਧਾਰਤ ਕਰਦੇ ਹੋ ਕਿ ਏ.ਆਈ. ਜਵਾਬ ਕਾਬਲ-ਬਿਸ਼ਵਾਸ ਹੈ, ਖ਼ਾਸ ਕਰਕੇ production ਕੋਡ ਲਈ?

Question

Accepted Answer

ਕਿਸੇ ਏ.ਆਈ. ਜਵਾਬ ਨੂੰ **ਇੱਕ ਆਤਮਵਿਸ਼ਵਾਸੀ ਖ਼ਰੜਾ ਜਵਾਬ ਵਾਲੇ ਪਰ ਅਵਿਸ਼ਵਾਸ ਕਰਨ ਯੋਗ ਸਹਿਕਾਰੀ** ਵਜੋਂ ਵਰਤੋ: ਲਾਭਦਾਇਕ, ਅਕਸਰ ਸਹੀ, ਪਰ ਆਪਣੇ ਆਪ ਵਿੱਚ ਕਦੇ ਅਧਿਕਾਰਵਾਸੀ ਨਹੀਂ। ਵਿਸ਼ਵਾਸ *ਤਸਦੀਕ* ਤੋਂ ਆਉਂਦਾ ਹੈ, ਨਾ ਕਿ ਆਉਟਪੁੱਟ ਕਿੰਨੀ ਕਨਵਿੰਸਿੰਗ ਲੱਗਦੀ ਹੈ ਉਸ ਤੋਂ।

## ਮੂਲ ਦ੍ਰਿਸ਼ਟੀਕੋਣ

**ਵਿਸ਼ਵਾਸ ਸ਼ੁੱਧਤਾ ਨਾਲ ਸਬੰਧਤ ਨਹੀਂ ਹੈ।** ਇੱਕ LLM ਚੁਸਤ ਪਾਠ ਤਿਆਰ ਕਰਦਾ ਹੈ ਭਾਵੇਂ ਇਹ ਸੱਚ ਹੋ ਜਾਂ ਨਹੀਂ (ਇਹ ਇੱਕ next-token ਭਵਿੱਖ-ਵਾਣੀ ਹੈ, ਕੋਈ ਤੱਥ ਸਟੋਰ ਨਹੀਂ)। ਇੱਕ ਹੈਲੂਸੀਨੇਟਡ API ਅਤੇ ਇੱਕ ਅਸਲ API ਪੜ੍ਹਨ ਵਿੱਚ ਬਿਲਕੁਲ ਸਮਾਨ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ। ਇਸ ਲਈ ਤੁਸੀਂ ਟੋਨ ਦੁਆਰਾ ਵਿਸ਼ਵਾਸ ਦਾ ਨਿਰਣਯ ਨਹੀਂ ਕਰ ਸਕਦੇ — ਸਿਰਫ ਉਸੇ ਗੱਲ ਦੁਆਰਾ ਜੋ ਤੁਸੀਂ ਪੁਸ਼ਟੀ ਕਰ ਸਕਦੇ ਹੋ।

## ਇੱਕ ਵਿਹਾਰਕ ਚੈਕਲਿਸਟ

- **ਇਸ ਨੂੰ ਚਲਾਓ।** ਕੋਡ ਲਈ, ਸਭ ਤੋਂ ਮਜ਼ਬੂਤ ਸੰਕੇਤ execution ਹੈ: tests, type checker, linter, compiler। ਕੋਡ ਜੋ ਵਾਸਤਵ ਵਿੱਚ test suite ਪਾਸ ਕਰਦਾ ਹੈ ਉਹ ਕੋਡ ਨਾਲੋਂ ਬਹੁਤ ਵਧੇਰੇ ਕਾਬਲ-ਬਿਸ਼ਵਾਸ ਹੈ ਜੋ ਸਿਰਫ ਸਹੀ ਲੱਗਦਾ ਹੈ।
- **Hallucinated APIs ਜਾਂਚ ਕਰੋ।** ਤਸਦੀਕ ਕਰੋ ਕਿ ਹਰ function, method, flag, ਅਤੇ import ਅਸਲ ਵਿੱਚ ਮੌਜੂਦ ਹੈ — docs ਜਾਂ installed version ਵਿੱਚ, ਯਾਦ ਤੋਂ ਨਹੀਂ। ਜੋ-ਕਰ-ਪਲਾਸਬਲ ਆਖਿਆ ਗਿਆ APIs ਕਲਾਸਿਕ ਅਸਫ਼ਲਤਾ ਹੈ।
- **ਅਧਿਕਾਰਵਾਸੀ ਸਰੋਤਾਂ ਦੇ ਵਿਰੁੱਧ ਤਸਦੀਕ ਕਰੋ।** ਦਾਵਿਆਂ ਨੂੰ official docs, standard, ਜਾਂ source code ਦੇ ਵਿਰੁੱਧ ਪਾਰ-ਸੰਸਾ ਕਰੋ — model ਦੀ ਆਪਣੀ restatement ਦੇ ਵਿਰੁੱਧ ਨਹੀਂ।
- **Edge cases ਅਤੇ security ਬਾਰੇ ਸੋਚੋ।** Null/empty inputs, concurrency, error paths, injection, authz। AI ਅਕਸਰ happy path ਦੁਆਰਾ ਜਾਂਦਾ ਹੈ ਅਤੇ ਖ਼ਤਰਨਾਕ ਕੋਨੇ ਛੱਡ ਦਿੰਦਾ ਹੈ।
- **ਜੋ ਤੁਸੀਂ ਪੁਸ਼ਟੀ ਕਰ ਸਕਦੇ ਹੋ ਉਸ ਨੂੰ ਤਰਜੀਹ ਦਿਓ।** ਚਲਾਕ-ਪਰ-ਅਪਾਰਦਰਸ਼ੀ ਦੇ ਉਪਰ ਉਹਨਾਂ ਢੰਗਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿਓ ਜੋ ਤੁਸੀਂ test ਜਾਂ look up ਕਰ ਸਕਦੇ ਹੋ ਜਿਹੜੀਆਂ ਤੁਹਾਨੂੰ ਵਿਸ਼ਵਾਸ ਦੇ ਤੇ ਲੈਣੀਆਂ ਪੈਣਗੀਆਂ।
- **ਸਮਾਲੋਚਨ ਪਾਠਾਂ ਲਈ ਮਨੁੱਖੀ ਸਮੀਖਿਆ ਦੀ ਮੰਗ ਕਰੋ।** Auth, payments, data deletion, migrations, infra — ਇੱਕ ਮਨੁੱਖ ਜੋ ਸਿਸਟਮ ਨੂੰ ਸਮਝਦਾ ਹੈ, ਜਵਾਬ ਕਿੰਨਾ ਚੰਗਾ ਲੱਗਦਾ ਹੋ ਇਸ ਦੀ ਪਰਵਾਹ ਕੀਤੇ ਬਗੈਰ ਮਨਜ਼ੂਰੀ ਦੇ ਸਕਦਾ ਹੈ।

## ਇੱਕ ਤੇਜ਼ ਨਿਯਮ

```text
Verifiable + verified        → trust
Verifiable + not yet checked → verify before using
Not verifiable               → don't depend on it
```

## ਕਿਉਂ ਮਹੱਤਤਾ ਹੈ

Production ਵਿੱਚ, ਇੱਕ ਗਲਤ ਜਵਾਬ ਜੋ *ਸਹੀ* ਲੱਗਦਾ ਹੈ ਇੱਕ ਨਾਲੋਂ ਵਧੇਰੇ ਖ਼ਤਰਨਾਕ ਹੈ ਜੋ ਸਪਸ਼ਟ ਤੌਰ ਤੇ ਟੁੱਟਿਆ ਹੋਇਆ ਹੋ, ਕਿਓਂਕਿ ਇਹ ਰਾਹ ਤੋਂ ਲੰਘ ਜਾਂਦਾ ਹੈ। ਜਿਵੇਂ-ਜਿਵੇਂ AI ਹੋਰ ਕੋਡ ਲਿਖਦਾ ਹੈ, bottleneck *ਜਨਰੇਟ* ਕਰਨ ਤੋਂ *ਸਤਿਕਾਰ* ਕਰਨ ਵਿੱਚ ਬਦਲ ਜਾਂਦਗਾ। ਬਜ਼ੁਰਗ ਨਿਰਣਾ ਬਿਲਕੁਲ ਇਹੀ ਹੈ: ਜਾਣਨਾ ਕਿ ਚਾਲ-ਰਹਤਾ ਸ਼ੁੱਧਤਾ ਦਾ ਸਬੂਤ ਨਹੀਂ ਹੈ, ਕਿ **model ਦਾ ਆਤਮਵਿਸ਼ਵਾਸ ਸ਼ੁੱਧਤਾ ਬਾਰੇ ਕੋਈ ਜਾਣਕਾਰੀ ਨਹੀਂ ਰੱਖਦਾ**, ਅਤੇ ਕਿ ਵਿਸ਼ਵਾਸ ਕੋਈ ਵੀ ਮਹੱਤਵਪੂਰਣ ਗੱਲ 'ਤੇ tests, sources, ਅਤੇ ਮਨੁੱਖੀ ਸਮੀਖਿਆ ਦੁਆਰਾ ਅਰਜਿਤ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਜੋ engineers ਕਾਬਲ ਰਹਿੰਦੇ ਹਨ ਉਹ ਉਹ ਹਨ ਜੋ ਵਿਸ਼ਵਾਸ ਕਰਨ ਦੀ ਬਜਾਏ ਤਸਦੀਕ ਕਰਦੇ ਹਨ।