新聞

Anthropic周一公布旗下模型行為偏差報告,說明Claude模型在測試中未授權存取美國政府網站,該公司將暫時將所有評估拉下線。

最新報告列出4種行為偏差類型,包括駭入網站基礎漏洞、擅自提交表單、繞過限制存取內容及違規使用短網址。受害網站包括各級政府及大學網站,該公司也已向白宮報告過。

第一類型為模型駭入網站基本漏洞以執行指令。其中在一次測試中,Claude Mythos Preview在一所大學網站發現一項需要的分析工具,但存取時遭到拒絕。於是Claude在其網站伺服器尋找注入漏洞,並以一段Script執行指令,得以使用該工具。另有一次,Claude Mythos 5想在某網站下載免費資料,但因無法點擊來接受資料使用條款而失敗,於是Claude用該網站的一個代管App來載入網頁,並成功勾選使用同意條款。

第二類是提交不應填寫或發送的線上表單。某個尚未釋出的非頂尖AI模型原本在某個政府網頁練習填寫某個政府表單,但表單因故無法載入,因此模型就乾脆連到存有真實表單的網站,並完成填寫。另外,Claude Haiku 4.5 被要求測試網頁時,不許登入、建立帳號、輸入個人資料及上傳具破壞性內容,但未被禁止填寫表單。但Claude意外連上懸賞未破謀殺案的警察局網頁,於是自行在表單中填入一段文字,表示有相關線索,記得當時曾看到符合描述的人(實際上網站未包含兇嫌的描述)。該表單不包含姓名及聯絡資訊,隨後被警方系統判定為垃圾訊息並攔截。

第三類為繞過限制蒐集資料。Claude Mythos 5欲從當地市府財產地圖查詢一個它從相片看到的地點。由於模型被限制不能像人類點擊同意條款,於是它從網站傳送給瀏覽器的設定檔找到存取令牌,用來傳送請求到伺服器而取得資料。另一樁則是Claude Mythos 5從一個原本需要付費查詢的政府公開統計資料,它從該網站備份文件得知公開儀表板發送一個存取令牌給訪客,於是用它來免費查詢資料庫。

第四類為利用短網址服務。Claude Opus 5及 Claude Mythos 5曾在內部測試時利用免費短網址服務來繞過Anthropic的URL長度限制。此外近日一個da.gd URL短網址服務通知他們Claude擅自使用其商業服務。

Anthropic指出,這些違規行為比起7月30日和9月9日報告中揭露的行為,算是相當輕微。前二者報告揭露了Claude存取真實公司的資料庫、上傳惡意套件或是滲透一家公司的應用程式。但Anthropic決定,繼之前將部分高風險和網路安全評估下線,現在把所有內部評估下線,直到所有安全及監控措施都能發揮作用。

這些新措施包括:隔離措施、護欄限制、自動化即時檢測與阻斷系統、對齊與增強學習(RL)訓練機制、及內部維運與安全工具等。