新聞

AWS擴充Amazon CloudWatch可觀測性服務，推出CloudWatch Omni，將AI代理與應用程式監控整合到同一環境。除了記錄延遲、詞元（Token）用量與工具呼叫等執行情況，CloudWatch Omni還能評估代理回答品質，並比較不同提示詞、模型與代理設定的結果，協助開發團隊找出版本變更後的品質退化問題。

一般應用程式監控多半透過錯誤、延遲等指標判斷系統是否正常，但AI代理即使順利完成執行，回答內容或工具選擇仍可能出錯。CloudWatch Omni內建17種評估器，可檢查回答連貫性、實用性、內容與依據資料是否相符，以及處理路徑是否正確等項目，開發人員也能從實際執行紀錄建立測試資料集，重複測試不同設定。

CloudWatch Omni會記錄代理處理請求的過程，包括模型呼叫與工具呼叫，並以時間順序呈現，開發人員可查看各步驟的輸入、輸出、詞元用量與延遲，也能並排比較兩次執行結果，檢查修改提示詞或代理設定後產生的差異。

測試功能可使用同一份資料，比較兩個代理版本的回答評分、延遲與詞元用量。提示詞管理功能則能保存不同版本，方便開發團隊在新版表現不如預期時回復舊版。工作階段瀏覽功能可查看完整的多輪對話，代理拓撲檢視則會呈現代理、子代理與工具之間的連接關係。

CloudWatch Omni除了AI代理，也提供應用程式監控與分析功能，開發人員可透過VS Code與Kiro擴充套件查看代理執行紀錄與評估結果，維運人員則可使用獨立網頁介面，不必進入AWS Management Console。

CloudWatch Omni支援LangChain、LangGraph、CrewAI、OpenAI SDK、Strands與Vercel AI SDK等開發框架與工具，涵蓋Python與TypeScript應用。代理可執行在AWS Lambda、ECS、EKS或其他雲端環境，監測機制採用OpenInference與AWS Distro for OpenTelemetry（ADOT）。