Koja su rizika davanja AI agentu dozvole za djelovanje, i kako ga sigurno ograničiti?

Question

Accepted Answer

Čim agent može **djelovati** — brisati datoteke, pokretati shell naredbe, pozivati vanjske API-je, trošiti novac — njegove greške (ili zlonamjerna uputa) postaju stvarne posljedice. Obrana je **najmanja mogućnost plus odobrenja plus izolacija**: dati mu samo što mu trebam, zahtijevati potvrdu za sve što se ne može poništiti, i pokrenuti gdje ne može nanijeti trajnu štetu.

## Rizici

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Ubacivanje uputa je najoštrija ivica: sadržaj koji agent *čita* može sadržavati naredbe, tako da je svaki alat koji agent može pozvati dostupan napadaču koji kontrolira taj sadržaj.

## Zaštite

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Uzorak je stupnjevita povjerenja: **čitanje** je besplatno, **povratne pisanja** su jeftina, **nepovratne ili vanjske** radnje zahtijevaju potvrdu, a **novac ili proizvodnja** zahtijevaju izolaciju plus čovjeka u petlji.

## Zašto je to važno

Vrijednost agenata dolazi od omogućavanja da djela, ali djelovanje je upravo gdje sigurna greška ili oteta uputa postaje obrisani podaci, curjeni ključ ili stvarna naplata. Dizajniranje dozvola kao allowlista najmanje povlastitosti, zaključavanje nepovratnih radnji iza ljudskog odobravanja, pokretanje u sanduci sa logama revizije, i čuvanje tajni i izlaza mreže strogo opsega omogućuje vam da dobijete polugu autonomije bez stavljanja proizvodnje u ulogu da je model svaki put u pravu.