Anthropic提出AI代理人零信任框架，因應AI加速攻擊風險

該公司認為，傳統存取控管機制，未必足以防止AI代理人濫用既有合法權限，因此企業需要將零信任原則延伸套用至代理式AI系統的整體運作流程。相關作法包括建立具備密碼學根信任的代理人身分識別、依照任務限制權限範圍、防止記憶內容遭到汙染，並建立可持續監測與回應異常行為的安全機制，以因應攻擊者透過長時間、多階段操作逐步擴大影響的攻擊模式。

Anthropic提出的AI代理人零信任安全框架依組織成熟度與風險承受能力分為3層，分別是基礎、企業與進階。基礎層級涵蓋短效存取權杖、具備密碼學驗證機制的代理人身分識別、以身分為核心的工作負載隔離，以及可自動執行初步事件分流的安全機制；企業層級則加入更完整的憑證生命週期管理、沙箱執行環境、不可竄改稽核紀錄，以及可在偵測異常行為後自動限制權限、隔離工作負載或中止操作的遏止機制；進階層級則面向高風險或高度受監管環境，納入以硬體為基礎的身分驗證、機密運算環境、持續性授權控管，以及具備異常偵測後自動恢復與修復能力的安全架構。

在實作面，Anthropic建議企業以8個階段導入AI代理人安全控管，從確認法規與營運需求、管理供應鏈風險、定義代理人可執行範圍，到防範提示注入、控管工具存取、保護代理人憑證與記憶內容，並透過異常停留時間、警示調查涵蓋率及行為偏移等指標，持續評估代理人活動與安全監控成效。