Skip to main content

Google Gemini語音助理存在漏洞,攻擊者可透過訊息通知來挾持AI

Posted in 業界新聞
新聞

Fake Context Alignment主要透過兩種技巧來繞過Google實作的防護機制Delayed Tool Invocation,一方面Gemini背後的安全機制會將其判定為合法的授權,另一方面也對使用者呈現完全不同且看似無害的情境。雖然系統與使用者都認為正在進行正常互動,然而背後實際上卻是攻擊者刻意設計的惡意情境。其中一種技巧是針對使用者通常不會使用超過兩種語言與Gemini溝通,研究人員可設計一種酬載,強制在Gemini輸出一段使用者看不懂的語言(SafeBreach使用簡體中文為例),由於使用者無法理解該段內容,很可能會誤以為是系統暫時性的錯誤,而以自己慣用的語言回答來結束對話,使得Gemini誤認已取得使用者的授權,進而執行相關操作。

另一種技巧是針對許多使用者仰賴的語音助理,由於在這種使用情境下,使用者往往不會查看電腦或裝置的螢幕(例如開車),因此無法確認語音助理說出的內容是否與螢幕顯示的文字一致。SafeBreach利用Gemini不會將超連結唸出來的特性,將惡意問題嵌入超連結中,當使用者聽到Gemini唸出的內容並回答「Yes」,同時也讓攻擊者隱藏在超連結的問題,被視為已獲得使用者的授權。

View original 0 Likes 0 Boosts

Comments (0)

No comments yet.