美國加州州長Gavin Newsom公布新一輪AI安全監管建議,研議賦予州政府緊急關閉高風險AI模型的權力,並建立限制AI自行開發更強模型的機制。加州也計畫要求大型先進AI開發商接受持續性的第三方安全驗證,相關措施仍須透過立法才能實施。
加州擬強化AI安全監管,政府可緊急停用模型並限制研發算力
Show the rest Hide the rest
根據加州政府公布的《AI Safety in 2026 and Beyond》報告,大型先進AI開發商須事先制定緊急應變措施,包括停止AI代理運作、撤銷系統存取權限、隔離運算資源,必要時停止模型運作,並由獨立機構定期驗證。若模型可能立即引發災難性事故或嚴重失控,業者又無法或拒絕處理,且其他措施不足以排除危險,州政府可命令業者緊急停止相關系統。
另一項建議針對AI遞迴式自我改進(Recursive Self-Improvement,RSI),也就是AI在不需人類介入的情況下,自行開發能力更強的後續模型,再利用新模型持續改進。加州擬要求業者揭露AI參與模型研發的程度,以及投入自動化研發的運算資源,要是AI自動研發的進展超過安全措施及評估能力,並有造成災難性危害的實質風險,州政府將有權限制業者投入自動化AI研發的運算資源比例。
加州計畫由政府訂定基本安全、資安及透明度標準,要求大型先進AI開發商接受獨立驗證機構持續評估,涵蓋模型訓練、開發及部署階段。驗證機構須取得必要的模型、文件及系統資訊,並向政府提交完整評估結果,政府可據此要求業者改善。
報告中也建議擴大重大AI安全事件的通報範圍,納入模型失控及企圖竊取模型權重的事件,並為險些釀成事故的情況建立通報管道。多數重大事件的通報期限擬由現行15天縮短至48小時,具有迫切災難性風險的事件則維持24小時通報要求。
加州2025年已通過SB 53法案,要求先進AI開發商公開安全措施並通報特定重大事件,2026年也簽署SB 813及AB 1405,建立獨立驗證機構認定及AI稽核人員登錄制度。Gavin Newsom 9月已下令研究緊急關閉機制,此次報告則提出具體立法建議。
Read the full article on www.ithome.com.tw
Comments (0)
Sign in to comment