新聞

美國AI模型業者Anthropic先前推出新版的AI模型Fable 5,因能力被形容超越該公司過往公開推出的任何模型,尤其擅長辨識軟體漏洞,一度引發外界高度關注;美國政府甚至宣稱,在該模型中找到可繞過安全限制的漏洞;並以國家安全為由,禁止任何非美國國民使用這個模型,範圍甚至涵蓋 Anthropic本身的非美籍員工。對此,戴夫寇爾(DEVCORE)執行長翁浩在一場媒體記者會中坦言,「AI發展迄今,早已不是資安的未來,而是資安的現在進行式。」

翁浩正以一則親身經歷的小故事作為回應。他有一位在國外擔任資安主管的朋友,因整個公司上下,包含老闆與董事會,對這類新一代模型的能力感到高度恐慌,甚至提議成立專責小組,要求在數小時內針對模型可能自動挖掘出的漏洞做出回應。

翁浩正認為,這種恐慌多半源自於「未知」,因為多數企業其實並未真正使用過這些模型,恐懼往往來自二手的報告與傳言,而非第一手的理解。

他直言,AI 不是神,沒辦法把「沒有漏洞」變成「有漏洞」,企業真正該做的,是先把核心資安策略穩固好,並建立起漏洞出現後的優先排序機制,而不是急著另闢一支專門應付 AI 的作戰小組。

資安檢測專案因Vibe Coding亂象,頻繁出現資安風險

因為Vibe Coding的盛行,翁浩正表示,這也成為他們近期資安檢測專案中,頻繁出現的亂象之一。

他進一步解釋,Vibe Coding高度依賴 AI 自動生成程式碼、開發者僅憑感覺確認「看起來沒問題」便直接部署上線的開發模式。翁浩正指出,使用 AI 開發程式確實能大幅加快速度,但是否真的能夠兼顧安全性則是一大問號,即便企業進一步透過 AI 做黑箱、白箱檢測,也不代表就能高枕無憂。

他以親身接觸的案例說明Vibe Coding帶來的亂象,例如:有企業因為 AI 開發速度飛快,索性請同仁直接用 AI 打造專案管理系統,三天到一週就能完成、且完全符合需求。

但當他追問:「未來由誰維護這套AI開發的專案系統?」,得到的答案往往是「員工會維護」。但實際上,所謂的維護多半是:AI 判斷先前的寫法不夠好,又重新用AI寫一次。「這樣的專案開發循環,讓開發成本不減反增,卻鮮少被意識到。」他說。

翁浩正表示,他們的團隊也觀察到,這類Vibe Coding資安檢測專案普遍存在安全觀念不足、不安全的程式碼、缺乏驗證與測試、過度信任與部署、以及敏感資訊洩漏等資安風險。

AI從攻擊傳統系統,到 AI 系統本身成為攻擊目標

翁浩正將 AI 對資安產業的衝擊,拆解為兩個層次。第一層,是駭客利用 AI 反過來攻擊傳統資訊系統,像是自動化漏洞挖掘則讓原本需要數週苦工分析的流程,壓縮至數天內完成;高度客製化的社交工程郵件,能夠抓取公開資訊生成幾可亂真的攻擊信件;多型態惡意程式每次執行特徵略有不同,得以逃脫傳統防毒軟體的特徵碼偵測;甚至聲音與臉孔都能被即時偽裝,讓社交工程攻擊鏈全面自動化。

他也分享自己曾收到一封「精準到可疑」的業務開發信,對方顯然掌握了該公司近期發布的新聞稿內容,且在他回信婉拒後三十秒內立即回覆——讓他確認對方其實是全自動化運作的 AI。

第二層威脅,則是 AI 系統本身淪為攻擊目標,像是提示詞注入攻擊(Prompt Injection )就是藉由操控輸入提示詞,以誘導 AI 執行未經授權的動作或洩露資訊;其他像是Agent記憶污染影響 AI 代理人後續決策的判斷依據;訓練資料污染可能在模型訓練前就被植入後門,影響模型的行為模式;而 LLM 越獄則是繞過企業建立的 AI 安全控制,藉此提取敏感指引或資料。

翁浩正特別提醒,企業自建的本地 AI 模型同樣存在風險,例如:訓練資料是否乾淨、是否涉及主權爭議,都是難以掌握的黑盒子,這也是為什麼包括戴夫寇爾在內的多數企業,目前都選擇禁用特定國家開發的模型。

從紅隊演練的行動中,發現的未加密聊天紀錄

戴夫寇爾團隊在一次紅隊演練專案中,透過K8s管理介面一路取得Chatbot主機的存取權限,意外在主機中找到名為「chat_history」的資料夾,裡面存放每位員工與內部AI聊天機器人的完整對話紀錄,且全數未經加密。

翁浩正形容,這樣的發現如果放到一般人熟悉的情境會更有感:想像自己平時使用的AI聊天工具,如果所有對話紀錄都能被外人完整讀取,將會是一場災難。

他透露,團隊在紀錄中確實看到員工詢問其他同事薪資、要求協助產生更安全密碼,甚至直接貼上程式碼請AI協助除錯等高度敏感的對話內容。

翁浩正指出,許多企業導入的Chatbot方案,為了實作搜尋功能,往往在架構設計上就犧牲了加密這一環,這是企業導入AI應用系統時,最容易被忽略、卻可能造成重大災難的風險缺口。

從Pwn2Own賽事軌跡,看AI在資安攻防的份量

翁浩正也以公司同仁長年參與的國際指標賽事Pwn2Own為例,說明AI在資安攻防中的角色演變速度。

他回顧,2024年的賽事攻擊項目僅涵蓋AI攝影機、NAS、智慧音箱等「AI 裝置」;到了2025年,賽事設立AI專屬類別,目標擴大涵蓋機器學習系統,包括 Chroma、Nvidia Triton Inference Server等框架皆被納入攻擊範疇。

今年,AI已正式成為競賽核心,擴展為四大分類,AI資料庫、程式碼協作代理人(Coding Agents)、OpenAI Codex、LM Studio等均遭到成功攻破。這樣的演進軌跡,某種程度反映了整個資安產業對「下一年攻擊者會瞄準什麼」的集體共識。

在今年五月落幕的「Pwn2Own Berlin」賽事中,戴夫寇爾(DEVCORE)研究團隊由首席資安研究員蔡政達(Orange Tsai)領軍,以總積分50.5分,比第二名高出兩倍之多的成績,第二度奪下「Master of Pwn」全球冠軍頭銜,並抱回逾五十萬美元獎金。

團隊在賽事中接連攻破微軟旗下Edge、Exchange、Windows 11與SharePoint四項主力產品,不僅是瀏覽器類別唯一成功攻破目標的隊伍,也是自2021年以來,唯一兩度成功挖掘Exchange伺服器嚴重漏洞的團隊。

值得注意的是,拿下單項最高獎金的Exchange漏洞,是團隊基於長期研究洞察並搭配AI輔助,短短一週內成功挖掘出的遠端程式碼執行(RCE)漏洞。

而拿下17.5高分的 Edge瀏覽器漏洞,則完全仰賴人工研究,在不借助AI的情況下,靠人力串連四個邏輯錯誤達成沙箱逃逸,這項漏洞更被主辦方ZDI形容為前所未見的攻擊型態,促使微軟在揭露後二十四小時內完成修補。

翁浩正認為,這樣的成績正好回應了外界最常拋出的疑問:「AI會不會取代資安研究員?」他的答案是「不會」。

他解釋,即便是已經透過企業自有團隊、外部資安公司反覆檢測,甚至用AI完成黑箱、白箱測試的成熟專案,該公司團隊依舊能在短時間內找到最嚴重的高風險漏洞,並成功進入客戶主機。這並不代表AI沒有用,而是說明:AI目前的邏輯判斷能力仍有明顯侷限,還無法取代資深資安專家的價值。

至於Pwn2Own二度封王的意義,翁浩正認為,優秀的白帽駭客總能創造出全新的獨創思路,令眾人驚豔,而這正是AI目前高度依賴既有知識、卻仍難以企及的創造力領域。AI是很先進的輔助工具,能讓真正的人類專家,更快達到研究的本質目的,但它終究應該是資安研究員的助力,而不是阻力,更不會是主力。

AI 能力的邊界,懂程式碼但未必懂程式邏輯

翁浩正指出,目前AI能力不足之處,主要在於:AI 對於「使用情境」的理解能力仍然不佳,面對大範圍的白箱檢測,當程式碼與上下文資訊量過大時,AI 難以真正深入理解程式邏輯,也難以判斷參數的合理性,因此經常出現誤報與漏報。

更值得留意的是,程式碼中的註解反而可能干擾AI的邏輯判斷,例如:如果程式碼中寫著「這裡是Feature,不是 Bug」,即便實際上確實存在漏洞,AI也很有可能因為參考這段誤導性註解,而將明顯的異常行為誤判為刻意設計、進而略過不報。

至於邏輯漏洞的判讀,翁浩正認為AI可以協助追蹤與提出疑點,但邏輯意圖、攻擊可行性及最終風險,仍高度仰賴人類專家確認。他將這個落差總結為一句話:「AI能理解程式碼,但未必理解系統為什麼要這樣運作。」

AI接手重複工作,資安專家專注高價值攻防

展望紅隊演練(Red Team Exercise)的未來發展,翁浩正認為,AI與資安專家的角色將愈來愈明確分工。

其中,AI主要負責大量且重複性的工作,包括自動化大規模偵察、動態產生與變換Payload(攻擊酬載)、模擬攻擊路徑、預測風險、快速比對已知漏洞模式,以及初步整理、分類與排序演練報告。

相較之下,資安專家則會將重心放在更需要經驗與判斷的工作,例如設計攻擊策略、決定攻擊優先順序、分析業務邏輯漏洞、研究零時差(Zero-Day)漏洞與開發創新的攻擊手法、確認進階持續性威脅(Advanced Persistent Threat,APT)的真實攻擊行為,以及完成最終報告與修補建議。

翁浩正也將紅隊演練的發展分為三個階段。在過去的傳統模式下,企業通常一年僅進行一至兩次滲透測試(Penetration Test)及一次紅隊演練,演練範圍固定、攻擊目標容易預測,且高度依賴人工作業,難以大規模推展。

到了現階段,AI已開始協助自動化偵察、Payload生成,以及白箱源碼檢測,人機協作也讓演練更貼近真實攻擊情境;同時,隨著企業大量導入AI應用,如何驗證AI系統本身的安全性,也逐漸成為紅隊演練的重要項目。

展望下一階段,翁浩正預期,攻擊預判、威脅情報(Threat Intelligence)與AI將形成三位一體的協作模式,推動資安從被動應變,進一步走向持續性韌性強化與預防性防禦,最終目標是在攻擊者發動攻擊之前,就能提前發現風險並採取行動。

企業使用AI檢測時,應該更謹慎

儘管AI帶來效率提升,翁浩正仍多次提醒,企業使用AI進行資安檢測時應更加謹慎。他指出,AI的輸出具有非確定性,可能出現推理錯誤、情境誤判與漏報,這樣的不確定性對企業而言往往難以承受;而紅隊行動的容錯空間又極低,AI一次錯誤判斷,就可能破壞目標系統、觸發防禦機制,甚至讓整場演練行動意外曝光。

此外,AI平臺本身及其背後的模型、套件、外掛與資料來源,也正在形成一種全新的供應鏈風險,而這類風險目前多數企業尚未完整盤點,若缺乏高強度檢測,也可能潛藏漏洞外洩的隱憂。

翁浩正也再度重申說明:「未經企業授權,絕不應將原始碼、憑證或未公開的漏洞情資傳送至外部 AI 服務,這是資安公司在導入 AI 工具時必須嚴守的紅線。」

把 Pwn2Own 等級的研究能量注入企業

因應這些變化,戴夫寇爾已於今年六月,正式對外宣布推出全新服務「主動式產品安全研究」(Offensive Product Security Research,簡稱 OPSR),並將其定位為企業專屬的「閉門版 Pwn2Own」。

這項服務強調研究級深度與私有化成果,由具備Pwn2Own等級能量的研究員操刀,成果全程保密、優先提供企業修補;服務內容涵蓋完全客製化的威脅情境設計,並從硬體、韌體到軟體進行全方位安全評估,包括第三方軟體風險評估、閉源軟體韌體逆向工程與硬體攻擊檢測,具體項目則包括物聯網(IoT)產品資安檢測、加密儲存裝置資安分析、軟硬體安全檢測與原始碼安全檢測。

戴夫寇爾(DEVCORE)共同創辦人暨資深副總徐念恩表示,AI雖然能大幅提升漏洞研究與資訊分析效率,但面對商業邏輯缺陷、或需要創造全新攻擊思路的情境,研究員的經驗與攻擊思維,仍是無法取代的核心價值。

他認為,未來資安攻防將更強調人機協作,由工具負責規模化與快速驗證工作;研究員則專注於攻擊策略設計與高價值漏洞研究。相較於Pwn2Own由主辦方指定目標、研究成果最終公開揭露的模式,OPSR鎖定客戶指定的任意系統資產,提供保密報告並直接通知客戶,服務型態也從年度競賽轉為持續性、週期性的合作關係,讓漏洞發現、修補建議與修補後驗證形成完整閉環。

AI重塑資安產業,也重塑資安人的價值

翁浩正強調,AI是攻擊與防守兩端都能運用的武器,它不會專屬攻擊、也不會專屬防禦,而是全面性地強化任何資訊的使用效率,其影響力堪比工業革命之於製造業。

攻擊者將持續運用AI加速漏洞挖掘與攻擊行為,防禦方也必須同步以AI輔助紅隊與藍隊的工作,才能讓資源用在真正的核心戰場上。他建議企業不必過度恐慌,但確實需要更加謹慎,像是做好包括:核心系統盤點、優先強化最關鍵資產的韌性,而非急於成立專責小組應對每一則聳動的AI新聞。

至於資安產業本身,翁浩正認為,傳統資安公司過去仰賴大量初階人力,執行基礎掃描與例行檢測的模式,勢必面臨轉型壓力,苦工型工作將逐漸交由AI承擔,而人類的價值則應更聚焦於邏輯推理、業務脈絡判讀與創意攻擊路徑等更深層的問題。他說:「這樣才能真正做到:AI重塑資安產業,也重塑資安人的價值。」