რა რისკებია AI აგენტს ქმედების უფლების მიცემისას, და როგორ შეზღუდავთ მას უსაფრთხოდ?

Question

IT Interview Practice · Accepted Answer

როდესაც აგენტი შეძლებს **ქმედებას** — ფাილების წაშლა, shell ბრძანებების გაშვება, გარე API-ების გამოძახება, ფულის ხარჯვა — მისი შეცდომები (ან მავნე prompt) რეალურ შედეგებად იქცევა. თავდაცვა არის **მინიმალური პრივილეგია პლუს ნებართვის კარიბჭე პლუს იზოლაცია**: მიეცით მხოლოდ ის, რაც სჭირდება, მოითხოვეთ დადასტურება ნებისმიერი უაბრუნებელი მოქმედებისთვის, და გაშვებული იყოს იმ ადგილას, სადაც ხანგრძლივი ზიანი არ შეიძლება.

## რისკები

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Prompt injection არის ყველაზე მკვეთრი მხარე: საზოგადოებრივი ინფორმაცია, რომელიც აგენტი *კითხულობს*, შეიძლება შეიცავდეს ინსტრუქციებს, ამიტომ ნებისმიერი ხელსაწყო, რომელიც აგენტმა შეიძლება გამოიყენოს, მიღწევადია იმ თავდამტეხელი, ვინც კონტროლს ახდენს იმ ზოგადი ინფორმაციაზე.

## დაცვის ზომები

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

ნიმუში არის გრადუირებული ნდობა: **კითხვა** უფასოა, **უაბრუნებელი ჩანაწერი** იაფია, **უაბრუნებელი ან გარე** მოქმედებები მოითხოვს დადასტურებას, და **ფული ან წარმოება** მოითხოვს იზოლაციას პლუს ადამიანი მარყუჟში.

## რატომ არის მნიშვნელოვანი

აგენტების ღირებულება მათ ქმედებაში ის არის, რომ დაე მოქმედებდნენ, მაგრამ მოქმედება სწორედ ის ადგილია, სადაც თავდაჯერებული შეცდომა ან წაკითხული prompt გაიქცა წაშლილ მონაცემებად, გაჟონული გასაღებად, ან რეალური დასხმით. პრივილეგიების დიზაინი როგორც მინიმალური პრივილეგიის დაშვების სიები, უაბრუნებელი მოქმედებების კარიბჭე ადამიანის დამტკიცებისკენ, სანქსიებში გაშვება აუდიტის ჟურნალებით, და საიდუმლო და ქსელის გამოსავალი მჭიდროდ განსაზღვრული საშუალებს გაძლევთ პროდუქციაზე წინა სახელმწიფოებში ავტონომიის ძალა, ყოველ ჯერზე მოდელის სწორად არის აუცილებელი.

რისკები

დაცვის ზომები

რატომ არის მნიშვნელოვანი

დაკავშირებული კითხვები