OpenAI周一(11/16)宣布,啟動第一階段嵌入式評估(Embedded Assessments),與4家獨立機構合作,讓外部專家深入OpenAI內部,檢驗AI模型的安全性及防護機制。
OpenAI開放4家外部機構進駐,深入檢驗AI模型安全性
Show the rest Hide the rest
有別於一般透過API測試模型的外部評估,此一計畫將依照評估需求,開放專家存取尚未發布的AI模型、原始程式碼、訓練及評估資料、監控系統與技術文件,也能直接與研究人員交流,以發現現有安全測試可能遺漏的問題。
參與計畫的4家機構分別為Apollo Research、METR、Transluce及Goodfire,它們各自具備不同的研究專長與評估任務。其中,Apollo Research是專門研究先進AI安全風險的公益公司,特別關注AI模型是否會欺騙人類、隱瞞意圖或規避安全限制。此次將調查OpenAI模型是否可能暗中違背開發者意圖,以及現有監控系統能否察覺這類行為。
METR為一專門評估先進AI能力及風險的非營利研究機構,研究重點包括AI自主執行任務的能力及安全監控。此次將檢驗OpenAI迄今規模最大的強化學習訓練作業,尋找現有測試未發現的模型行為偏差,也計畫進一步評估監控機制。
Transluce是專注於AI模型可解釋性及安全研究的機構,致力於理解模型內部運作及行為。此次負責檢查OpenAI模型完成訓練後的安全評估品質與涵蓋範圍,雙方也計畫於2027年初展開約8周的後續評估,檢視評估結果如何影響模型發布決策。
Goodfire則是一家開發AI模型可解釋性技術的公司,透過分析神經網路內部活動,協助研究人員理解模型行為。此次將派遣研究人員進駐OpenAI,利用旗下平臺分析模型內部機制,協助改善訓練監控、除錯及模型對齊。
由於評估涉及敏感技術資訊,需要接觸機密資料的外部專家須進駐OpenAI辦公室,並使用OpenAI提供的設備。評估機構可獨立發布報告,但OpenAI保留刪除機密資訊及要求延後揭露安全風險相關發現的權利。
OpenAI表示,該計畫也是履行《白宮超級智慧協議》(White House Accord on Super Intelligence)安全承諾的一部分,未來希望建立長期第三方評估機制,並推動AI產業形成共同的安全評估標準。
Read the full article on www.ithome.com.tw
Comments (0)
Sign in to comment