Bir AI ajanına hareket etme izni vermenin riskleri nelerdir ve bunu güvenli bir şekilde nasıl sınırlarsınız?

Question

Accepted Answer

Bir ajan **hareket edebilme** yeteneğine sahip olduğunda — dosya silme, shell komutları çalıştırma, harici API'ler arama, para harcama — hataları (veya kötü niyetli bir prompt) gerçek dünya sonuçları haline gelir. Savunma **en az ayrıcalık artı onay geçitleri artı izolasyon**: ona yalnızca gereken şeyi verin, geri alınamaz herhangi bir şey için onay talep edin, ve bunu kalıcı hasar yapamayacağı yerde çalıştırın.

## Riskler

```text
- DESTRUCTIVE actions  → rm -rf, DROP TABLE, force-push → irreversible data loss
- ARBITRARY shell      → run anything → privilege escalation, exfiltration
- EXTERNAL APIs/$$     → send emails, place orders, spend on cloud/LLM tokens
- SECRET exposure      → leak API keys / .env / tokens into logs or outbound calls
- PROMPT INJECTION     → untrusted input (a web page, an issue) hijacks the agent
```

Prompt enjeksiyonu en keskin kenar: ajanın *okuduğu* içerik talimatlar içerebilir, bu nedenle ajanın çağırabileceği herhangi bir araç, söz konusu içeriği kontrol eden bir saldırganın erişimine açıktır.

## Güvenlik Mekanizmaları

```text
- LEAST PRIVILEGE / ALLOWLIST → only pre-approved commands & paths; deny by default
- APPROVAL FOR DESTRUCTIVE    → human confirms deletes, payments, prod writes
- SANDBOX / DRY-RUN           → preview the action; isolated container, no prod creds
- ISOLATED ENVIRONMENT        → ephemeral VM/branch; blast radius = throwaway box
- AUDIT LOGS                  → record every tool call + args for review
- NO SECRETS IN CONTEXT       → inject via env at runtime; never paste keys into prompts
- NETWORK LIMITS              → egress allowlist; block arbitrary outbound requests
```

```yaml
# Conceptual permission policy
tools:
  read_file:   { allow: true }                 # safe, reversible
  run_shell:   { allow: ["npm test", "git status"] }  # allowlist only
  delete_file: { allow: "ask" }                # human approval required
  send_email:  { allow: "ask", sandbox: true } # dry-run first, then confirm
network:
  egress: ["api.github.com"]                    # everything else blocked
```

Desen, aşamalı güven: **okuma** ücretsiz, **geri alınabilir yazma** ucuz, **geri alınamaz veya harici** eylemler onay gerektirir, ve **para veya üretim** izolasyon artı döngüde insan gerektirir.

## Neden önemli

Ajanların değeri, onların hareket etmesine izin vermekten gelir, ancak hareket etme, emin bir hatanın veya ele geçirilen bir promptun silinen veriye, sızan bir anahtara veya gerçek bir ücrete dönüştüğü tam yerdir. İzinleri en az ayrıcalık whitelist'i olarak tasarlamak, geri alınamaz eylemleri insan onayının arkasında kapatmak, denetim günlükleri olan sanal alanlar içinde çalıştırmak ve sırları ve ağ çıkışını sıkı bir şekilde kapsamak, üretimde bahis yapmadan otonomi yükseltmesini almanızı sağlar. modelin her zaman doğru olduğunu.