Care sunt riscurile de a da unui agent AI permisiunea de a acționa și cum o limitezi în siguranță?

Question

Accepted Answer

Odată ce un agent poate **acționa** — șterge fișiere, executa comenzi shell, apelează API-uri externe, cheltuie bani — greșelile sale (sau un prompt rău intenționat) devin consecințe în lumea reală. Apărarea este **privilegiu minim plus porți de aprobare plus izolare**: dă-i doar ceea ce are nevoie, cere confirmarea pentru orice este ireversibil și rulează-l acolo unde nu poate cauza daune permanente.

## Riscurile

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Injectarea promptului este cea mai ascuțită muchie: conținutul pe care agentul îl *citește* poate conține instrucțiuni, deci orice instrument pe care agentul poate apela este accesibil unui atacator care controlează acel conținut.

## Protecții

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Modelul este încredere graduală: **citirea** este gratuită, **scrierea reversibilă** este ieftină, **acțiunile ireversibile sau externe** cer confirmarea, iar **banii sau producția** cer izolare plus o persoană în buclă.

## De ce conteaza

Valoarea agenților vine din a le permite să acționeze, dar acțiunea este exact locul unde o greșeală sigură de sine sau un prompt piratat se transformă în date șterse, o cheie scurgă sau o încărcare reală. Proiectând permisiunile ca liste de permisiuni cu privilegiu minim, poarta acțiunile ireversibile în spatele aprobării umane, rulând în sandbox-uri cu jurnale de audit și ținând secretele și egresul rețelei strict limitat, poți obține pârghia autonomiei fără a paria producția pe model care are dreptate de fiecare dată.