AI ایجنٹ کو کارروائی کی اجازت دینے کے کیا خطرات ہیں، اور آپ اسے محفوظ طریقے سے کیسے محدود کرتے ہیں؟

Question

Accepted Answer

ایک بار جب ایجنٹ **کارروائی** کر سکے — فائلیں حذف کریں، shell کمانڈز چلائیں، بیرونی APIs کو کال کریں، پیسے خرچ کریں — اس کی غلطیاں (یا ایک malicious prompt) حقیقی دنیا کے نتائج بن جاتی ہیں۔ بچاؤ ہے **کم سے کم صلاحیت plus منظوری کے دروازے plus علیحدگی**: صرف وہی دیں جس کی ضرورت ہے، کسی بھی ناقابلِ واپسی چیز کے لیے تصدیق کی ضرورت ہے، اور اسے اس جگہ چلائیں جہاں یہ طویل مدتی نقصان نہیں پہنچا سکتا۔

## خطرات

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Prompt injection سب سے تیز کنارہ ہے: وہ مواد جو ایجنٹ *پڑھتا* ہے اس میں ہدایات ہو سکتی ہیں، تو ہر ٹول جو ایجنٹ کو کال کر سکتا ہے ایک حملہ آور تک رسائی کے قابل ہے جو اس مواد کو کنٹرول کرتا ہے۔

## Guardrails

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

یہ نمونہ بتدریج اعتماد ہے: **پڑھیں** مفت ہے، **ناقابلِ واپسی لکھیں** سستے ہیں، **ناقابلِ واپسی یا بیرونی** کارروائیوں کو تصدیق کی ضرورت ہے، اور **رقم یا production** کو علیحدگی plus انسان loop میں ضرورت ہے۔

## یہ کیوں اہم ہے

ایجنٹس کی قدر انہیں کارروائی کرنے دینے سے آتی ہے، لیکن کارروائی بالکل وہی جگہ ہے جہاں ایک پراعتماد غلطی یا ایک ہائے جیکڈ prompt حذف شدہ ڈیٹا، ایک leaked key، یا ایک حقیقی charge میں بدل جاتا ہے۔ صلاحیات کو کم سے کم-صلاحیت allowlists کے طور پر ڈیزائن کرنا، ناقابلِ واپسی کارروائیوں کو انسانی منظوری کے پیچھے محدود کرنا، audit logs کے ساتھ sandboxes میں چلانا، اور اسرار اور network egress کو سخت طریقے سے محدود رکھنا آپ کو خودمختاری کا leverage حاصل کرنے دیتا ہے بغیر production کو اس پر دانؤ لگائے کہ ماڈل ہر بار صحیح ہو۔