Kakšna so tveganja, če agentu dodelite dovoljenj za delovanje, in kako ga varno omejite?

Question

Accepted Answer

Ko agent lahko **deluje** — briše datoteke, zažene shell ukaze, kliče zunanje API-je, porabi denar — njegove napake (ali zlonamerni prompt) imajo posledice v resničnem svetu. Obrana je **najmanja privilegija plus odobrene vrata plus izolacija**: dodelite mu le tisto, kar potrebuje, zahtevajte potrditev za vse nepovratne akcije, in ga zaženite tam, kjer ne more povzročiti trajne škode.

## Tveganja

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Injiciranje promptov je najbolj oster rob: vsebina, ki jo agent *prebere*, lahko vsebuje navodila, zato je vsak pripomoček, ki ga agent lahko kliče, dosegljiv napadalcu, ki nadzira to vsebino.

## Zavarovaline

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Vzorec je postopno zaupanje: **branje** je brezplačno, **povratne spremembe** so poceni, **nepovratne ali zunanje** akcije zahtevajo potrditev, **denar ali produkcija** pa zahteva izolacijo plus človeka v zanki.

## Zakaj je to pomembno

Vrednost agentov je v tem, da jih pustite delovati, vendar je delovanje ravno tam, kjer samozavestna napaka ali uhajajući prompt postane izbrisani podatki, uhajajući ključ ali pravi naboj. Oblikovanje dovoljenj kot najmanjših privilegij dovolilnice, varovanje nepovratnih akcij pred človekovim odobrenjem, tečenje v peskovniku s hlogi revizije in tesno omejitev skrivnosti ter omrežnega izhoda vam omogoči, da dobite moč avtonomije brez stavka produkcije na to, da je model pravilen vsakič.