上週Anthropic正式發表Claude Fable 5與Mythos 5,並在短短3天表示因美國政府禁令被迫宣布停用,研判當局得知能夠對Fable 5進行越獄的方法而祭出禁令,強調政府掌握的應該是狹義且非通用的越獄手段,並認為這是誤會。有科技新聞網站指出,傳出至少有兩組研究團隊已能成功越獄。
根據科技新聞網站SiliconANGLE報導,美國商務部下達出口管制令的原因,很可能源自英國資安研究機構AI Security Institute(AISI)紅隊負責人Xander Davies的推文,他表示AISI針對Fable 5的資安防護機制進行紅隊測試,於6月9日出現實質進展,該機構於獲得存取權限的數個小時內,開發出越獄的方法,經過兩天的測試,他們成功呼叫了惡意代理工具。但是否就是因為此事促成前述禁令,有待進一步釐清。
不過,AISI並非唯一成功越獄Fable 5的研究團隊。華爾街日報指出,美國政府下令禁止所有外國人士使用,疑似源自Amazon總裁Andy Jassy和美國官員的對話內容。知情人士透露,Amazon研究人員曾利用一系列提示,讓Fable 5提供能用來從事網路攻擊的資訊。後續美國白宮開會討論如何回應,也有其他資安研究員驗證Amazon的說法,官員要求Anthropic修補弱點或下架模型。
值得留意的是,由於之前美國國防部要求Anthropic放寬模型在軍事領域使用限制,後續五角大廈將該公司列為供應鏈風險,使得這次的禁令被視為加劇美國政府與Anthropic之間的緊張關係。然而,美國總統科學與技術顧問委員會共同主席David Sacks認為,美國政府其實是希望Anthropic修補發現的越獄問題,但該公司拒絕處理,並強調問題並不嚴重,美國政府是出於無奈才下達出口管制命令。Sacks強調,Fable其實是具備額外防護措施的Mythos,一旦這些保護機制失效,將會把Mythos強大的能力暴露給不該取得的用戶。特別是Anthropic曾宣稱Mythos是網路武器,必須受到監管,因此美國政府才會對於Fable被越獄的情況特別看待。
Comments (0)