Apa risiko memberikan izin kepada agen AI untuk bertindak, dan bagaimana Anda membatasinya dengan aman?

Question

Accepted Answer

Setelah agen dapat **bertindak** — menghapus file, menjalankan perintah shell, memanggil API eksternal, mengeluarkan uang — kesalahan (atau prompt berbahaya) menjadi konsekuensi dunia nyata. Pertahanan adalah **privilege least-plus plus approval gates plus isolation**: berikan hanya yang dibutuhkan, butuh konfirmasi untuk apa pun yang tidak dapat diubah, dan jalankan di mana tidak dapat menyebabkan kerusakan permanen.

## Risikonya

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Injeksi prompt adalah ujung yang paling tajam: konten yang dibaca agen dapat berisi instruksi, jadi setiap alat yang dapat dipanggil agen dapat dijangkau oleh penyerang yang mengontrol konten tersebut.

## Pagar Keamanan

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Polanya adalah kepercayaan bertingkat: **membaca** gratis, **penulisan yang dapat dibalik** murah, tindakan **tidak dapat diubah atau eksternal** memerlukan konfirmasi, dan **uang atau produksi** memerlukan isolasi plus manusia dalam loop.

## Mengapa ini penting

Nilai agen berasal dari membiarkan mereka bertindak, tetapi tindakan adalah tempat yang tepat ketika kesalahan percaya diri atau prompt yang disadap berubah menjadi data yang dihapus, kunci bocor, atau biaya sebenarnya. Merancang izin sebagai daftar allowlist privilege least, membatasi tindakan tidak dapat diubah di belakang persetujuan manusia, menjalankan di sandbox dengan log audit, dan menjaga rahasia dan egress jaringan dengan cakupan ketat memungkinkan Anda mendapatkan leverage otonomi tanpa mempertaruhkan produksi pada model yang benar setiap saat.