新聞

Anthropic周四(9/17)公布最新AI發展速度衡量研究,揭露截至今年8月,Claude已能主導Anthropic約26%的AI研發工作,達到「協作」以上程度的工作占比更超過90%。Anthropic同時提出一套衡量前沿AI發展速度的方法,涵蓋AI參與自身研發的程度、人類監督AI代理人的能力,以及研發算力配置等三大面向。

其中,在衡量AI參與自身研發的程度上,Anthropic建立了「研發自動化指數」(R&D Automation Index),以量化Claude參與公司AI研發工作的程度,觀察AI距離完全自主打造後繼模型的「遞迴式自我改進」(recursive self-improvement)還有多遠。

該指數採用Epoch AI提出的AL0至AL5自動化分級,其中AL3「協作」(Collaborates)代表AI可在人類密切指導下完成大量工作;AL4「主導」(Leads)則可依高階指示自行完成大部分工作,再由人類監督;AL5代表完全自主。目前Claude尚未在任何AI研發工作達到AL5,但已有26%達到AL4,AL3以上則超過90%。

Anthropic也衡量人類對AI代理人的監督能力。截至今年8月,公司最常使用的內部平臺同一時間約有3萬個AI代理人從事研究與工程工作,並以即時及事後兩套機制監控所有活動。Anthropic分析8月超過10億次代理人決策後發現,約0.002%、相當於每4.7萬次約有1次遭即時監控系統阻擋;事後監控則約每1,000份活動紀錄標記1至2份進一步審查。

在算力配置上,Anthropic分析7月13日至20日一周的算力使用情況,發現所有AI研發使用的算力中,約6%投入安全研究;若進一步只看由AI代理人參與的AI研發工作,這些工作所使用的算力中,則有約12%投入安全研究。Anthropic認為,這類指標可用來追蹤業者投入安全研究的算力變化,未來也可能作為制定安全算力占比承諾的依據。

Anthropic表示,隨著AI能力快速提升,應縮小前沿AI實驗室與外界之間的資訊落差,因此將持續公布相關測量結果,也希望其它前沿AI業者定期揭露相同指標,讓外界掌握AI發展速度,並據此討論如何因應。