新聞

微軟開源評測平臺Scope，可讓GitHub Copilot、Claude Code等AI程式開發代理執行指定任務，檢查是否按照文件正確使用軟體開發套件（SDK）、應用程式介面（API）及相關工具。平臺也會記錄操作過程與測試結果，協助開發團隊找出代理執行任務時遇到的問題。

AI代理協助開發者寫程式時，可能選錯API、忽略文件中的重要指示，或遇到錯誤後無法完成工作，即使最後產生的程式能正常運作，也不代表代理使用了預期的工具。Scope讓軟體團隊測試代理使用自家SDK、命令列工具，以及用來連接外部服務的MCP伺服器時容易出錯的環節。

開發團隊可設定任務的完成標準，並提供起始程式碼，讓不同AI代理執行相同任務，Scope會記錄每次使用的AI模型和代理版本，連同工具設定一併保存。修改開發文件或工具後，團隊可用相同任務重新測試，觀察代理是否更容易完成工作，並分辨錯誤是偶發還是反覆出現。

Scope可依工作要求設定多項檢查條件，並安排條件之間的相依關係，例如程式須先成功建置，才檢查SDK初始化及整合測試的結果。平臺透過大型語言模型評估各項條件的達成情形，同時保留代理操作紀錄及工作目錄快照，供開發團隊追查問題發生的步驟。

不過，AI代理即使使用相同設定，每次執行的結果仍可能不同，系統自動判斷的結果也可能出錯，因此微軟建議反覆測試，並由人員檢查相關紀錄。Scope須由使用者自行部署，提供網頁管理介面，也能透過命令列工具及API將評測整合至開發流程。專案採MIT授權，原始碼已在GitHub公開，目前仍屬研究預覽階段。