新聞

AWS更新Amazon Bedrock AgentCore Runtime,重新設計記憶體管理及啟動機制。AWS測試顯示,使用200MB至2GB容器映像檔時,75%的冷啟動測試可在約2秒內完成,而舊版使用2GB映像檔時,冷啟動接近30秒。

AgentCore Runtime是AWS提供AI代理使用的託管執行環境,開發者不必自行維護底層運算資源。冷啟動指的是沒有現成執行環境可用時,系統從建立環境到代理程式開始工作的準備時間,映像檔容量及大量代理同時啟動,原本都可能拉長等待時間。

新版Runtime改用快照縮短啟動流程,AWS建立或更新執行環境時,會先啟動容器並完成初始化,再保存執行狀態。新執行個體可從快照恢復,不必重做容器啟動及程式初始化,AWS縮減快照保存內容,排除不必要的快取及暫存資料,避免快照容量隨容器映像檔增大,造成恢復時間增加。

AWS以不呼叫AI模型及外部工具的簡易代理測試冷啟動,每種映像檔容量執行5,000次,新版Runtime從200MB到2GB的測試結果維持約2秒,而舊版則從約5.4秒增加到接近30秒。測試數字反映執行環境準備時間,並包含測試端與代理之間的跨區域網路往返時間,不包含模型產生回應、呼叫工具或代理完成工作的時間。

記憶體管理方式也有調整,舊版Runtime會保留工作階段曾經配置的記憶體,即使程式不再使用,資源仍會占用到工作階段結束。新版Runtime從較小的記憶體用量開始,工作負載增加時配置更多記憶體,資料釋放或停止使用後回收資源。

AWS後續規畫加入更多記憶體、處理器及工作階段儲存空間,並提供工作階段暫停、恢復及權限範圍控制功能,支援需要長時間執行的AI代理工作。