新聞

10月16日美國國家標準暨技術研究院（NIST）與國家安全局（NSA）、網路安全暨基礎設施安全局（CISA）共同發布10項AI代理事件應變建議，協助組織防範及處理AI代理的越界行為。這份自願性指引主要針對訓練及評估高度先進AI代理的組織，相關措施也可供部署這類AI代理的組織參考。NIST將指引內容分為準備、偵測、應變、復原及通報5個階段。

非營利資安組織雲端安全聯盟（Cloud Security Alliance，CSA）解讀這份指引時指出，組織除了監控AI代理使用的工具、執行的系統操作及產生的網路活動，也需防範AI代理干擾監控工具或竄改監控紀錄，以免影響異常偵測及事件調查。為降低AI代理越界行為造成的風險，組織可事先限制代理的存取權限，並建立緊急停止機制。一旦發現代理違反安全限制或嘗試執行未經允許的操作，就能立即停止其活動，必要時撤銷存取權限。組織也應保存AI代理呼叫工具的紀錄，包括遭安全機制阻止的操作，以利後續重建事件過程。調查時也應視需要保存模型權重、訓練檢查點等資料。

停止AI代理活動後，組織需針對先前發現的越界行為重新進行測試，確認調整後的防護措施能阻止相同操作，再恢復AI代理運作。除了內部事件應變，NIST也建議組織與受影響單位聯繫，依法履行通報義務，並視需要主動向政府機關提供事件資訊，或對外公開事件內容。