ما هي مخاطر منح وكيل الذكاء الاصطناعي إذن للتصرف، وكيف تحددها بأمان؟

Question

Accepted Answer

بمجرد أن يتمكن الوكيل من **التصرف** — حذف الملفات وتشغيل أوامر shell واستدعاء واجهات برمجية خارجية وإنفاق الأموال — فإن أخطاؤه (أو موجه ضار) تصبح لها عواقب في العالم الحقيقي. الدفاع هو **الحد الأدنى من الامتيازات بالإضافة إلى بوابات الموافقة بالإضافة إلى العزل**: امنحه فقط ما يحتاجه، وطلب التأكيد على أي شيء لا يمكن عكسه، وقم بتشغيله حيث لا يمكنه التسبب في أضرار دائمة.

## المخاطر

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

حقن المتجهات هو الحافة الأكثر حدة: المحتوى الذي يقرأه الوكيل *يمكن أن يحتوي على تعليمات، لذا فإن أي أداة يمكن للوكيل استدعاؤها يمكن الوصول إليها من قبل المهاجم الذي يتحكم في هذا المحتوى.

## الحواجز الواقية

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

النمط هو الثقة المتدرجة: **القراءة** مجانية، **الكتابة القابلة للعكس** رخيصة، **الإجراءات التي لا يمكن عكسها أو الخارجية** تتطلب تأكيداً، و**الأموال أو الإنتاج** يتطلب عزلاً بالإضافة إلى تدخل بشري.

## لماذا يهم

تأتي قيمة الوكلاء من السماح لهم بالتصرف، لكن الإجراء هو بالضبط حيث يتحول الخطأ الواثق أو المتجه المختطف إلى بيانات محذوفة أو مفتاح مسرب أو رسوم حقيقية. يتيح لك تصميم الأذونات كقوائم allowlist بامتيازات محدودة، وحماية الإجراءات التي لا يمكن عكسها خلف موافقة بشرية، والتشغيل في أوساط معزولة مع سجلات التدقيق، والحفاظ على الأسرار والخروج من الشبكة محدودة بإحكام الحصول على فائدة الاستقلالية دون المراهنة على الإنتاج على أن يكون النموذج صحيحاً في كل مرة.