新聞

隨著企業開始將AI代理導入正式營運流程，相關資安風險與攻擊面也同步擴大。近期微軟彙整過去12個月針對已部署代理式系統進行紅隊測試的經驗，將《代理式AI系統失效模式分類》（Taxonomy of Failure Modes in Agentic AI Systems）文件更新至2.0版，新增7類代理式AI系統失效模式。

微軟建議，企業的AI代理應用涉及正式營運資料（production data）或外部介面時，應將其中4類新興風險列為必要測試類別：目標劫持（Goal Hijacking），這是指對抗性指令表面上符合合法任務流程，實際卻暗中改變AI代理的最終目標；電腦使用代理（Computer Use Agent，CUA）視覺攻擊，則是利用人眼無法辨識的內容，例如極小字體、隱藏在視窗外的介面元素，或圖片中的提示注入，影響AI代理的判斷結果。

其餘兩類則是工作階段上下文污染（Session Context Contamination），以及能力與架構揭露（Capability / Architecture Disclosure）。前者是攻擊者在多步驟工作階段早期置入資料，使代理在後續推理受到影響，但單一步驟未必會觸發安全控管；後者則是AI代理外洩工具名稱、系統提示結構、記憶介面，或觸發人工介入審核（Human-In-The-Loop，HitL）的邏輯，讓攻擊者能從原本的黑箱測試進一步推導系統內部運作，發動更具針對性的白箱攻擊路徑。

至於緩解措施方面，微軟說明企業應比照軟體供應鏈管理模式，為AI代理建立軟體物料清單（SBOM），完整盤點其使用的外掛、MCP伺服器、提示模板、工具描述，以及程式碼相依元件，並將可能影響AI代理決策與行為的自然語言工具描述，納入版本控管、變更追蹤與安全審查流程。