Amint az ügynök cselekedhet — fájlokat törölhet, shell-parancsokat futtathat, külső API-kat hívhat meg, pénzt költhet —, a hibái (vagy egy rosszindulatú utasítás) valódi világbeli következmények lesznek. A védelem a legkisebb kiváltság plus jóváhagyási kapuk plus izoláció: csak azt adja meg, amire szüksége van, minden visszafordíthatatlan dolog esetén megerősítést követel meg, és olyan helyen futtatja, ahol nem okozhat tartós kárt.
- DESTRUCTIVE actions → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$ → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION → untrusted input (a web page, an issue) hijacks the agent
A kérdés-injektálás a legélenkebb él: az az tartalom, amelyet az ügynök olvas, tartalmazhat utasításokat, így az ügynök által hívható bármely eszköz elérhető olyan támadó számára, aki ezt a tartalmat irányítja.
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS → record every tool call + args for review
- NO SECRETS IN CONTEXT → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS → egress allowlist; block arbitrary outbound requests
# Conceptual permission policy
tools:
read_file: { allow: true } # safe, reversible
run_shell: { allow: ["npm test", "git status"] } # allowlist only
delete_file: { allow: "ask" } # human approval required
send_email: { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
egress: ["api.github.com"] # everything else blocked
A minta a fokozatos bizalom: az olvasás ingyenes, a visszavonható írások olcsók, az visszavonhatatlan vagy külső cselekmények megerősítést igényelnek, a pénz vagy termelés izolációt és egy embert az ismétlődésben igényel.
Az ügynökök értéke abból adódik, hogy cselekszik, de a cselekmény éppen az a pont, ahol egy magabiztos hiba vagy egy eltérített utasítás törölt adatokká, egy nyilvánosságra hozott kulcssá vagy valós díjjá válik. Az engedélyek legkisebb kiváltságú allowlistként való megtervezése, a visszavonhatatlan cselekmények mögé helyezve az emberi jóváhagyást, homokozóban való futtatás auditálási naplókkal, és a titkokat és a hálózati kimenetet szorosan szabályozva lehetővé teszi az autonómia előnyeinek megragadása anélkül, hogy a termelésre tenné azt, hogy a modell minden alkalommal helyes.