AI एजेन्टलाई कार्य गर्न अनुमति दिने जोखिमहरू के हुन्, र तपाई यसलाई सुरक्षित रूपमा कसरी सीमित गर्नु हुन्छ?

Question

Accepted Answer

एक पटक एजेन्ट **कार्य** गर्न सक्छ — फाइलहरू मेटाउन, shell आदेशहरू चलाउन, बाह्य APIs कल गर्न, पैसा खर्च गर्न — यसको गल्तिहरू (वा एक दुर्भावनापूर्ण प्रम्प्ट) वास्तविक-विश्व परिणामहरू बन्छन्। रक्षा **न्यूनतम विशेषाधिकार प्लस अनुमोदन गेटहरू प्लस अलगीकरण** हो: यसलाई केवल यो आवश्यक छ, तपाई कुनै पनि अपरिवर्तनीय कुरासँग पुष्टि गर्न आवश्यक छ, र यसलाई त्यहाँ चलाउनुहोस् जहाँ यो स्थायी क्षति गर्न सक्दैन।

## जोखिमहरू

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

प्रम्प्ट इंजेकसन सबैभन्दा तीक्ष्ण किनारा हो: एजेन्टले *पढ्यो* सामग्रीमा निर्देशनहरू हुन सक्छन्, त्यसैले एजेन्टले कल गर्न सक्ने कुनै पनि उपकरण त्यो सामग्री नियन्त्रण गर्ने आक्रमणकारीद्वारा पहुँचयोग्य छ।

## सुरक्षा उपाय

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

यो ढाँचा स्नातक विश्वास हो: **पढ्न** नि: शुल्क छ, **अपरिवर्तनीय लेखन** सस्ता छ, **अपरिवर्तनीय वा बाह्य** कार्यहरू पुष्टि माग गर्छन्, र **पैसा वा उत्पादन** अलगीकरण प्लस मानव लूप मा माग गर्छन्।

## किन यो महत्त्वपूर्ण छ

एजेन्टहरूको मूल्य तिनलाई कार्य गर्न दिनबाट आउँछ, तर कार्य ठीक जहाँ एक आत्मविश्वासी गल्ति वा एक अपहृत प्रम्प्ट मेटिएको डेटा, लीक गरिएको कुञ्जी, वा वास्तविक चार्जमा परिणत हुन्छ। अनुमतिहरू न्यूनतम-विशेषाधिकार allowlist हरूको रूपमा डिजाइन गर्नु, अपरिवर्तनीय कार्यहरू मानव अनुमोदनको पछाडि गेटिङ गर्नु, audit log हरूको साथ sandbox मा चलाउनु, र गोपनीयता र नेटवर्क egress कसरी सीमित राख्नु तपाईलाई स्वायत्तताको लीभरेज प्राप्त गर्न अनुमति दिन्छ मोडेल हर समय सही हुने उत्पादन मा दांव नबिना।