Vilka är riskerna med att ge en AI-agent behörigheter att agera, och hur begränsar du den säkert?

Question

Accepted Answer

När en agent kan **agera** — ta bort filer, köra shell-kommandon, anropa externa API:er, spendera pengar — blir dess misstag (eller ett skadligt prompt) verkliga konsekvenser. Försvaret är **minsta behörighet plus godkännandeportar plus isolering**: ge den bara vad den behöver, kräv bekräftelse för allt irreversibelt, och kör det där det inte kan göra varaktig skada.

## Riskerna

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Prompt-injicering är den skarpaste kanten: innehåll som agenten *läser* kan innehålla instruktioner, så vilket verktyg agenten än kan anropa är åtkomligt för en angripare som kontrollerar det innehållet.

## Skyddsmekhanismer

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Mönstret är graderat förtroende: **läsning** är gratis, **reversibla skrivningar** är billiga, **irreversibla eller externa** åtgärder kräver bekräftelse, och **pengar eller produktion** kräver isolering plus en människa i loopen.

## Varför det är viktigt

Värdet av agenter kommer från att låta dem agera, men åtgärd är exakt där ett självsäkert misstag eller ett kaprat prompt blir raderad data, en läckt nyckel eller en verklig debitering. Genom att utforma behörigheter som minsta-behörighets-tillåtlisteor, grinda irreversibla åtgärder bakom mänskligt godkännande, köra i sandlådor med granskningsloggar, och hålla hemligheter och nätverksutgång snävt begränsad kan du få spaken av autonomi utan att satsa produktion på att modellen har rätt varje gång.