Hva er risikoen med å gi en AI-agent tillatelse til å handle, og hvordan begrenser du det trygt?

Question

Accepted Answer

Når en agent først kan **handle** — slette filer, kjøre shell-kommandoer, kalle eksterne API-er, bruke penger — blir feilene (eller en ondsinnet prompt) til virkelige konsekvenser. Forsvaret er **minste rettighet pluss godkjenningspørter pluss isolasjon**: gi det bare det det trenger, krever bekreftelse for alt som er irreversibelt, og kjør det der det ikke kan gjøre varig skade.

## Risikoene

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Prompt-injeksjon er den skarpeste kanten: innhold som agenten *leser* kan inneholde instruksjoner, så ethvert verktøy agenten kan ringe, er tilgjengelig for en angriper som kontrollerer innholdet.

## Sikkerhetstiltak

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Mønsteret er gradvis tillit: **lesing** er gratis, **reversible skrivinger** er billig, **irreversible eller eksterne** handlinger krever bekreftelse, og **penger eller produksjon** krever isolasjon pluss en menneske i løkken.

## Hvorfor det betyr noe

Verdien av agenter kommer fra å la dem handle, men handling er akkurat der en selvsikker feil eller en kapret prompt blir til slettet data, en lekkert nøkkel eller et reelt gebyr. Ved å utforme tillatelser som least-privilege allowlists, gate irreversible handlinger bak menneskelik godkjenning, kjøre i sandboxer med revisjonslogger, og holde hemmeligheter og nettverksutgang stramt begrenset, kan du få autonomistyrken uten å satse produksjon på at modellen har rett hver gang.