AI ਏਜੰਟ ਨੂੰ ਕਾਰਵਾਈ ਕਰਨ ਦੀ ਇਜਾਜਤ ਦੇਣ ਦੇ ਖਤਰੇ ਕੀ ਹਨ, ਅਤੇ ਤੁਸੀਂ ਇਸ ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੂਪ ਵਿੱਚ ਕਿਵੇਂ ਸੀਮਿਤ ਕਰਦੇ ਹੋ?

Question

Accepted Answer

ਜਦੋਂ ਇਕ ਏਜੰਟ **ਕਾਰਵਾਈ** ਕਰ ਸਕਦਾ ਹੈ — ਫਾਈਲਾਂ ਨੂੰ ਮਿਟਾਉਣਾ, shell ਕਮਾਂਡਾਂ ਨੂੰ ਚਲਾਉਣਾ, ਬਾਹਰੀ APIs ਨੂੰ ਕਾਲ ਕਰਨਾ, ਪੈਸਾ ਖਰਚ ਕਰਨਾ — ਤਾਂ ਇਸ ਦੀਆਂ ਗਲਤੀਆਂ (ਜਾਂ ਇਕ ਖਤਰਨਾਕ prompt) ਅਸਲ-ਸੰਸਾਰ ਦੇ ਨਤੀਜੇ ਬਣ ਜਾਂਦੇ ਹਨ। ਰੱਖਿਆ ਹੈ **ਘੱਟੋ-ਘੱਟ ਸਹੂਲਤ ਪਲਸ ਮਨਜੂਰੀ ਦਰਵਾਜ਼ੇ ਪਲਸ ਅਲਗ-ਥਲਗ**: ਇਸਨੂੰ ਕੇਵਲ ਉਹ ਦਿਓ ਜਿਸ ਦੀ ਇਸਨੂੰ ਲੋੜ ਹੈ, ਕਿਸੇ ਵੀ ਵਾਪਸ ਨਾ ਮੁੜਨ ਵਾਲੀ ਚੀਜ਼ ਲਈ ਤਸਦੀਕ ਦੀ ਲੋੜ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਉੱਥੇ ਚਲਾਓ ਜਿੱਥੇ ਇਹ ਸਥਾਈ ਨੁਕਸਾਨ ਨਹੀਂ ਕਰ ਸਕਦਾ।

## ਖਤਰੇ

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Prompt ਇਨਜੈਕਸ਼ਨ ਸਭ ਤੋਂ ਤੀਖਾ ਕਿਨਾਰਾ ਹੈ: ਸਮੱਗਰੀ ਜੋ ਏਜੰਟ *ਪੜ੍ਹਦਾ* ਹੈ ਉਸ ਵਿੱਚ ਹਦਾਇਤਾਂ ਹੋ ਸਕਦੀਆਂ ਹਨ, ਤਾਂ ਇਹ ਕਿ ਕੋਈ ਵੀ ਟੂਲ ਜੋ ਏਜੰਟ ਕਾਲ ਕਰ ਸਕਦਾ ਹੈ ਉਹ ਇੱਕ ਹਮਲਾ ਕਾਰ ਦੁਆਰਾ ਪਹੁੰਚਯੋਗ ਹੈ ਜੋ ਉਸ ਸਮੱਗਰੀ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ।

## ਰੱਖਿਆ ਮੀਜ਼ਾਨਾਂ

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

ਪੈਟਰਨ ਹੈ ਤਰੱਕੀ ਵਿੱਚ ਭਰੋਸਾ: **ਪੜ੍ਹਨਾ** ਮੁਫ਼ਤ ਹੈ, **ਵਾਪਸ ਆਉਣ ਯੋਗ ਲਿਖਤ** ਸਸਤਾ ਹੈ, **ਵਾਪਸ ਨਾ ਮੁੜਨ ਵਾਲੀ ਜਾਂ ਬਾਹਰੀ** ਕਾਰਵਾਈਆਂ ਨੂੰ ਤਸਦੀਕ ਦੀ ਮੰਗ ਹੈ, ਅਤੇ **ਪੈਸਾ ਜਾਂ ਉਤਪਾਦਨ** ਨੂੰ ਅਲਗ-ਥਲਗ ਪਲਸ ਇੱਕ ਮਨੁੱਖ ਲੂਪ ਵਿੱਚ ਮੰਗ ਹੈ।

## ਇਹ ਮਾਇਨੇ ਕਿਉਂ ਰਖਦਾ ਹੈ

ਏਜੰਟਾਂ ਦੀ ਕੀਮਤ ਉਹਨਾਂ ਨੂੰ ਕਾਰਵਾਈ ਕਰਨ ਦੇਣ ਤੋਂ ਆਉਂਦੀ ਹੈ, ਪਰ ਕਾਰਵਾਈ ਬਿਲਕੁਲ ਉੱਥੇ ਹੈ ਜਿੱਥੇ ਇੱਕ ਆਤਮ-ਵਿਸ਼ਵਾਸੀ ਗਲਤੀ ਜਾਂ ਇੱਕ ਅਪਹਰਣ ਕੀਤਾ prompt ਮਿਟੀ ਹੋਈ ਡੈਟਾ, ਇੱਕ ਲੀਕ ਕੀਤੀ ਕੁੰਜੀ, ਜਾਂ ਇੱਕ ਅਸਲ ਚਾਰਜ ਵਿੱਚ ਬਦਲ ਜਾਂਦਾ ਹੈ। ਅਨੁਮਤੀਆਂ ਨੂੰ ਘੱਟੋ-ਘੱਟ-ਸਹੂਲਤ allowlists ਦੇ ਤੌਰ ਤੇ ਡਿਜ਼ਾਇਨ ਕਰਨਾ, ਵਾਪਸ ਨਾ ਮੁੜਨ ਵਾਲੀ ਕਾਰਵਾਈਆਂ ਨੂੰ ਮਨੁੱਖੀ ਮਨਜੂਰੀ ਦੇ ਪਿੱਛੇ ਗੇਟ ਕਰਨਾ, audit logs ਦੇ ਨਾਲ sandboxes ਵਿੱਚ ਚਲਾਉਣਾ, ਅਤੇ ਰਾਜ਼ਾਂ ਅਤੇ ਨੈੱਟਵਰਕ egress ਨੂੰ ਸਖ਼ਤੀ ਨਾਲ ਸੀਮਾਬੱਧ ਰੱਖਣਾ ਤੁਹਾਨੂੰ ਆਪ-ਨਿਰਭਰਤਾ ਦੀ ਲਿਵਰੇਜ ਪ੍ਰਾਪਤ ਕਰਨ ਦੇਵਦਾ ਹੈ ਬਿਨਾਂ ਉਤਪਾਦਨ ਤੇ ਸਵਾਲ ਚਿਨ੍ਹ ਲਗਾਏ ਕਿ ਮਾਡਲ ਹਰ ਵਾਰ ਸਹੀ ਹੋ।