Hvad er risiciene ved at give en AI-agent tilladelse til at handle, og hvordan begrænser du det sikkert?

Question

Accepted Answer

Når en agent først kan **handle** — slette filer, køre shell-kommandoer, kalde eksterne API'er, bruge penge — bliver dens fejl (eller en ondsindet prompt) til konsekvenser i den virkelige verden. Forsvaret er **mindste privilege plus godkendelsesgates plus isolation**: giv det kun det, der er behov for, kræv bekræftelse for alt der er irreversibelt, og kør det hvor det ikke kan gøre varig skade.

## Risiciene

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Prompt injection er den skarpeste kant: indhold som agenten *læser* kan indeholde instruktioner, så ethvert værktøj agenten kan kalde er tilgængeligt for en angriber der kontrollerer det indhold.

## Guardrails

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Mønsteret er gradvis tillid: **læsning** er gratis, **reversible skrivninger** er billige, **irreversible eller eksterne** handlinger kræver bekræftelse, og **penge eller produktion** kræver isolation plus en menneske i løkken.

## Hvorfor det betyder noget

Værdien af agenter kommer fra at lade dem handle, men handling er præcis hvor en selvsikker fejl eller en kapret prompt bliver til slettet data, en lækket nøgle eller en rigtig afgift. At designe tilladelser som mindste-privilege allowlists, gate irreversible handlinger bag menneskegodkendelse, køre i sandkasser med revisjonslogger, og holde hemmeligheder og netværksudgange stramt afgrænsede lader dig få udbyttet af autonomi uden at satse produktionen på at modellen har ret hver gang.