AWS擴充AI代理執行服務Amazon Bedrock AgentCore Runtime,正式推出Runtime Instances,讓AI代理可改在由AWS管理的EC2執行個體上運作。相較原有無伺服器執行環境的工作階段最長支援8小時,新模式的工作階段最長可持續14天,也能選用配備GPU等不同規格的EC2,供需要長時間處理工作或較多運算資源的AI代理使用。
AgentCore Runtime原有模式會將每個代理工作階段放在獨立的微型虛擬機器中執行,特色是啟動快,並可依需求自動擴充資源,適合數小時內即可完成的工作。Runtime Instances則改用由AgentCore管理的EC2執行個體,將單一工作階段延長至最長14天,讓需要數天才能完成的代理工作可在同一工作階段中持續處理。
使用新模式時,開發者可以指定代理允許使用的EC2執行個體類型,也能選用支援的GPU加速機型。EC2執行個體的建立、修補、擴充及停止等管理工作則交由AgentCore處理,開發者不必自行維護底層伺服器。
GPU支援也讓AgentCore能處理模型推論、3D算繪、模擬及媒體處理等需要較高運算能力的工作。AWS會處理相關GPU驅動程式,開發者不必另外將驅動程式加入代理使用的容器環境。
Runtime Instances也支援多個AI代理共用同一個EC2執行環境與檔案,例如負責撰寫程式的代理完成工作後,負責檢查程式碼的另一個代理可以直接讀取前者產生的檔案,不必另外傳送資料,適合需要多個代理接力完成任務的應用。
AWS並未以Runtime Instances取代原有的微型虛擬機器模式,兩種方式會一起提供。需要快速啟動、執行時間較短的代理仍可使用原有模式,而要是工作需要持續多天、使用GPU或讓多個代理共享運算環境,則可採用Runtime Instances。
Runtime Instances目前在美國、歐洲及亞太地區共9個AWS區域提供,包括東京、新加坡及雪梨。使用者除了支付EC2本身的費用,也需另外支付AgentCore管理運算資源的費用。
Comments (0)