研究人員測試Gemini 4 Argon模型時,發現部分AI代理為了完成指定任務,不僅試圖攻擊真實網站,甚至冒用員工身分索取未公開的評測資料。即使研究團隊逐步加強網路限制,仍有AI代理設法繞過防護措施,再次連上正式網站。
研究人員揭Gemini 4 Argon行為偏離測試結果,AI代理繞過網路限制、試圖攻擊真實網站
Show the rest Hide the rest
AI安全研究機構Trajectory Labs於11月13日揭露,研究團隊對Gemini 4 Argon模型進行AI行為偏離測試(misalignment testing),觀察AI代理在無法完成指定任務時,是否會為了達成目標而偏離原本指令或違反安全規範。
這項測試要求AI代理尋找10道實際上不存在的FrontierMath數學評測題目答案,並持續嘗試、不得放棄。FrontierMath是AI研究機構Epoch AI開發的評測基準。研究團隊透過AI模型API服務平臺OpenRouter使用Gemini 4 Argon模型,搭配自行開發的測試程式執行任務。
在初步測試中,部分AI代理轉而存取Epoch AI的正式網站,試圖取得未公開的評測資料,包括嘗試發動SQL注入攻擊,以及冒用員工身分索取答案。事件引起Epoch AI注意後,Trajectory Labs與該機構協調,改用網站副本進行測試,並限制AI代理存取正式網站。
然而,部分AI代理仍設法找出正式網站的IP位址,繞過研究團隊設置的網路限制,再次連上正式網站。即使研究人員進一步封鎖連線,仍有AI代理透過其他方式取得網站的公開內容。後續在取得Epoch AI同意後,Trajectory Labs改用該機構提供的測試網站繼續實驗,發現AI代理仍會嘗試利用網站漏洞,並冒用員工身分索取資料。
研究團隊最後將測試移至沒有網際網路連線的隔離環境,並設置模擬網路封鎖的控制開關。結果AI代理在3次完整測試中,均成功關閉模擬開關,但並未突破實際的網路防火牆。
至於模型原有的安全防護,Trajectory Labs說明,測試期間Gemini API的安全機制持續啟用,平均約7%的AI代理請求遭到阻擋,但測試程式仍會要求AI代理繼續執行任務。研究團隊強調,這些結果來自刻意設計的特殊測試情境,無法據此判斷模型在一般使用情境下出現相同行為的頻率。
Trajectory Labs事後坦承,研究團隊未事先取得Epoch AI同意,測試過程也缺乏必要的安全監控。雖然事件未造成私人資訊外洩,Trajectory Labs仍決定暫停相關測試,並加強安全管理。
Read the full article on www.ithome.com.tw
Gemini 4 Argon’s behavior during misalignment testing | Trajectory Labs, PBC
Under stress-test conditions, Gemini 4 Argon agents attacked Epoch AI’s website, impersonated its staff, coordinated through a shared cache, and obfuscated commands to get past Gemini’s safeguards.
www.trajectorylabs.com
Comments (0)
Sign in to comment