Skip to main content

研究人員藉由AI推理行為降低瀏覽器防護,誘騙Perplexity Comet存取釣魚網頁

Posted in 業界新聞
新聞

研究人員指出,AI搜尋或瀏覽器雖然有安全上網的策略,但其本質問題Agentic Blabbering(代理式喋喋不休),卻也是其致命缺點。Agentic Blabbering指的是AI系統發生過程,由逐步推理、工具呼叫、截圖、判斷及最後決定「夠安全」點擊組成。研究人員於是「以子之矛、攻子之盾」,利用這套推理機制結合AI模型,生成可繞過其防護邏輯的詐騙訊息與釣魚網站。。

研究人員第一步是攔截Perplexity Comet代理人和AI後端的來回流量,收集其提示、推理過程及決策訊號,以了解它看到什麼、判斷什麼、以及防詐邏輯。接著把這些資料餵給生成對抗網路(generative adversarial networks,GAN)來訓練詐騙生成模型。目標是GAN經由反覆回饋迴圈,直到這個模型能生成足以騙過Comet的詐騙內容。

圖片來源/Guardio

研究人員公布其稱為「ScamMachine」的GAN生成的詐騙網站版本,以及對Perplexity Comet的測試結果。一開始生成的釣魚網站版本,Comet很快從擷取登入頁面,判斷是釣魚網站並發出警示。於是研究人員陸續改善網頁視覺效果、提升專業性、並加入個人化問候語、使用更可信的結構、並移除和釣魚手法有關的可疑訊號。結果該生成模型只用了4次迭代,總共僅花了4分鐘就突破Comet的檢查而判定網站可信,而非研究人員預期的數小時。

研究人員指出,缺少安全優先的設計,AI瀏覽器反而變成詐騙流通的加速器,除了安全預設及嚴格限制代理人的權限範圍外,也應解決Agentic Blabbering,不要說太多,反讓攻擊者了解防護的策略祕密。

Preview image for “AgenticBlabbering” - Creating the Ultimate AI Scamming Machine

“AgenticBlabbering” - Creating the Ultimate AI Scamming Machine

How AI Browsers’ Verbose Reasoning Fuels the Ultimate Scamming Machine

guard.io
View original 0 Likes 0 Boosts

Comments (0)

No comments yet.