新聞

澳洲政府情報與資安機構澳洲通訊局（ASD）發布代理型AI安全指引，警告目前仍沒有完全可靠的技術方法可以防範大型語言模型（LLM）將外部內容解讀成指令的提示詞注入（Prompt Injection）。ASD因此建議企業在部署代理型AI時，不應只依賴LLM本身的安全機制，還需限制AI代理存取資源的範圍及可執行的操作，降低提示詞注入造成的影響。

ASD將LLM之外、負責讓AI代理連接外部資料、使用工具及存取其他系統的軟體機制稱為Agentic AI harness，這套機制也負責AI代理的權限控管及相關安全控制。Agentic AI harness可能由企業自行開發，也可能由商業產品或服務提供。

ASD建議企業依照最小權限原則，限制AI代理存取正式系統、敏感資料及網路服務，並只提供執行任務所需的工具及權限，敏感或可能造成重大影響的操作則需經過人工核准。企業也應完整保留提示詞、模型回應、工具呼叫、人工核准及組態異動等紀錄。若多代理系統中的一個元件遭到入侵，影響可能透過共用的上下文及信任關係波及其他元件，因此ASD建議企業將整套多代理系統視為單一代理進行安全評估。

英國國家網路安全中心（NCSC）先前也曾分析提示詞注入的安全問題。NCSC指出，SQL注入可透過參數化查詢等方式明確區分資料與程式指令，但LLM處理輸入內容時並沒有這樣的區隔機制，因此難以用相同方式防範提示詞注入。NCSC認為，現階段的防護重點，是降低提示詞注入成功的可能性，並減輕攻擊可能造成的影響。