Apakah risiko memberikan ejen AI kebenaran untuk bertindak, dan bagaimana anda mengehadkannya dengan selamat?

Question

Accepted Answer

Sebaik sahaja ejen boleh **bertindak** — memadam fail, menjalankan perintah shell, memanggil API luaran, membelanjakan wang — kesilapannya (atau prompt berniat jahat) menjadi akibat dunia sebenar. Pertahanannya ialah **keistimewaan paling sedikit ditambah gerbang kelulusan ditambah pengasingan**: berikannya hanya apa yang diperlukannya, tuntut pengesahan untuk apa-apa yang tidak boleh diterbalikkan, dan jalankannya di tempat ia tidak boleh menyebabkan kemudaratan kekal.

## Risikonya

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Prompt injection ialah bahagian paling tajam: kandungan yang *dibaca* ejen boleh mengandungi arahan, jadi mana-mana alat yang boleh dipanggil ejen boleh dicapai oleh penyerang yang mengawal kandungan itu.

## Pagar pelindung

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Coraknya ialah kepercayaan berperingkat: **membaca** adalah percuma, **penulisan boleh diterbalikkan** adalah murah, tindakan **tidak boleh diterbalikkan atau luaran** menuntut pengesahan, dan **wang atau pengeluaran** menuntut pengasingan ditambah manusia dalam gelung.

## Mengapa ia penting

Nilai ejen datang daripada membenarkannya bertindak, tetapi tindakan ialah tepatnya tempat kesilapan yakin atau prompt yang dirampas bertukar menjadi data terpadam, kunci bocor, atau caj sebenar. Mereka bentuk kebenaran sebagai allowlist keistimewaan paling sedikit, mengehadkan tindakan tidak boleh diterbalikkan di sebalik kelulusan manusia, menjalankannya dalam sandbox dengan log audit, serta mengekalkan rahsia dan egress rangkaian berskop ketat membolehkan anda mendapat leverage autonomi tanpa mempertaruhkan pengeluaran pada model yang sentiasa betul.