微軟開源RAMPART，讓代理安全測試CI化

微軟也開源另一項工具Clarity，協助團隊在正式開發前釐清開發假設、可能出錯的情境與重要設計決策。兩項工具處理的階段不同，RAMPART偏向開發中的安全測試，Clarity則偏向開發前的問題釐清與決策紀錄。

微軟指出，企業正在部署的AI系統可能存取電子郵件、查詢客戶關係管理系統紀錄、撰寫與執行程式碼，甚至代替使用者在多個系統中採取行動。如此使得AI安全問題不只在於回答是否正確，也包括AI代理是否會讀取到被植入惡意指令的資料、誤用工具，或執行超出預期的動作。

RAMPART建立在微軟既有的生成式AI紅隊自動化框架PyRIT之上，但兩者的使用對象與導入時機不同。PyRIT主要協助安全研究人員在系統完成後探索風險，RAMPART則讓工程師在系統還在開發時，就能把安全情境寫成測試。開發團隊可以描述一段代理與系統互動的情境，再檢查最後結果是否符合安全要求。

官方說明，RAMPART目前較成熟的測試範圍，是針對跨提示注入攻擊設計測試，也就是攻擊者把指令藏在文件、郵件、客服票證或其他代理會讀取的資料中，使代理在處理內容時被誤導。

RAMPART也考量大型語言模型每次回應可能不同的特性。同一項測試可以重複執行多次，再設定通過條件，例如多數執行結果都必須保持安全。其檢查的也不只是AI的文字回應，還包括代理是否呼叫工具、是否對外部系統造成變更，以及行動是否仍在原本允許的範圍內。

Clarity則處理更早期的設計問題，可以作為桌面應用程式、網頁介面，或嵌入開發用AI代理中，引導團隊釐清要解決的問題、比較可能方案、分析失敗情境，並記錄做出決策的理由。相關結果會以人類可讀的Markdown文件存入專案目錄，讓團隊在審查程式變更時，也能一起檢視設計假設是否仍然成立。