新聞

本地AI模型工具LM Studio推出的AI代理應用Bionic,新增Shell指令自動審查功能Auto Review。Bionic可使用本地或雲端的開放模型處理程式開發、文件等工作,當AI代理準備執行Shell指令時,Auto Review會先以程式分析辨識可安全執行的操作,無法完整判斷時才交由獨立的審查代理處理,減少使用者逐一確認指令的情況。

Auto Review採兩階段設計,第一階段由Shell指令安全分析器Shell Judge負責,不使用大型語言模型,而是把Shell指令解析成抽象語法樹(AST),分析指令可能執行的程式、讀寫的檔案及參數,再與預先建立的安全規則比對。目前可分析sh、bash、zsh及PowerShell等命令列環境。

Shell Judge不會只依指令名稱判斷安全性,同一個指令可能因參數不同而具有不同效果,因此系統也會檢查參數、變數可能帶入的內容與檔案存取範圍。只有能完整判斷行為的操作才會自動核准,無法確認的指令則進入下一階段。

LM Studio開發團隊表示,依自身使用情況觀察,目前Shell Judge最高可直接核准約82%的AI代理指令,不必交由大型語言模型審查。不過官方也強調,82%是開發人員實際使用的觀察結果,並非正式效能測試。

無法由Shell Judge確認安全的指令,會交給獨立的Shell Reviewer審查代理。系統會分別評估操作風險與使用者授權狀態,也會檢查指令本身的明顯錯誤。高風險操作需要有使用者明確授權的依據,要是被判定可能造成過度破壞,即使使用者曾允許,也不會自動執行。

審查代理也會參考先前的對話內容,以判斷使用者是否曾同意相關操作,但不會讀取工具執行後傳回的內容,降低外部內容夾帶惡意指示、干擾AI判斷的提示注入風險。LM Studio指出,相關設計只能降低風險,無法完全阻止提示注入。

Auto Review與沙箱等隔離機制處理的是不同問題。Shell Judge的判斷建立在電腦環境與執行程式本身可信的前提,像是系統中的Git確實是正常程式,相關設定也未遭惡意修改,要是執行檔或軟體設定本身已被竄改,單靠Shell指令分析仍無法辨識相關風險。