新聞

由Nvidia領軍的開放安全AI聯盟（Open Secure AI Alliance）於8月4日Black Hat USA大會開幕之際宣布，已提出共享AI發現交換（Shared AI Findings Exchange，SAFE）草案，希望建立AI代理系統資安事件與調查發現的共同共享機制。

SAFE草案昨日也由開放安全AI聯盟成員之一的Linux基金會公布意見請求書（Request for Comments），旨在促成企業組織如何共同合作提升AI安全性的討論。RFC是以Creative Commons Attribution 4.0（CC-BY-4.0）授權開放，也開放社群檢視、討論和貢獻。

圖片來源/Linux基金會

本指引草案是由聯盟工作小組主要成員包括Nvidia、思科、CrowdStrike、Hugging Face和Red Hat等貢獻。SAFE指引包含關於確實蒐集和分析AI事件與差點發生的事件、通知受影響對象、辨識重複出現的控制失敗原因的相關方法，並且公布有證據支持的作業建議，以降低未來的系統性風險。

開放安全AI聯盟由Nvidia、Hugging Face、微軟等大廠及Linux基金會於上個月宣布成立。聯盟新聞稿指出，AI代理人不只是一個模型，而是一個系統，確保代理人系統不能只有漏洞掃描，還必須做到身分控制、執行框架、護欄、日誌和評估。該聯盟將打造AI安全的完整堆疊，包括身分、權限、模型、執行框架（Harness）到評估工具。目前成員已超過120家企業及組織。

SAFE框架是繼聯盟成員現有貢獻後的最新進展。聯盟成員中，Nvidia已貢獻了Nvidia Labs Object-Oriented Agent（NOOA）研究框架、OpenShell執行環境、開放模型家族，包括代理人用的Nvidia Nemotron、實體AI用的Cosmos、機器人用的Nvidia Isaac GR00T、醫療生技用的BioNeMo、以及自駕車用的Alpamayo等包括模型、權重、資料集和訓練方法。此外也開源了驗證過的代理人技能及其指令集、NeMo Guardrails、NeMo Anonymizer和NeMo Safe Synthesizer與LLM漏洞掃描工具Garak。

其他成員包括Okta、Palo Alto Networks、Red Hat、Amazon、Wiz及微軟，也分別貢獻身分管理、代理執行框架、授權控制及漏洞研究工具。