微軟揭露代理式AI新興風險,建議以SBOM盤點AI代理元件
Posted in
業界新聞
新聞
微軟建議,企業的AI代理應用涉及正式營運資料(production data)或外部介面時,應將其中4類新興風險列為必要測試類別:目標劫持(Goal Hijacking),這是指對抗性指令表面上符合合法任務流程,實際卻暗中改變AI代理的最終目標;電腦使用代理(Computer Use Agent,CUA)視覺攻擊,則是利用人眼無法辨識的內容,例如極小字體、隱藏在視窗外的介面元素,或圖片中的提示注入,影響AI代理的判斷結果。
其餘兩類則是工作階段上下文污染(Session Context Contamination),以及能力與架構揭露(Capability / Architecture Disclosure)。前者是攻擊者在多步驟工作階段早期置入資料,使代理在後續推理受到影響,但單一步驟未必會觸發安全控管;後者則是AI代理外洩工具名稱、系統提示結構、記憶介面,或觸發人工介入審核(Human-In-The-Loop,HitL)的邏輯,讓攻擊者能從原本的黑箱測試進一步推導系統內部運作,發動更具針對性的白箱攻擊路徑。
至於緩解措施方面,微軟說明企業應比照軟體供應鏈管理模式,為AI代理建立軟體物料清單(SBOM),完整盤點其使用的外掛、MCP伺服器、提示模板、工具描述,以及程式碼相依元件,並將可能影響AI代理決策與行為的自然語言工具描述,納入版本控管、變更追蹤與安全審查流程。
Comments (0)