微軟周一(10/12)發表第三代自研AI加速晶片Azure Maia 300,預計2027年投入正式生產環境,成為旗下產品與服務的主要AI推論系統,同時將Azure Maia系列晶片的部署規模擴大至數GW(數十億瓦)。
Azure Maia是微軟自行設計、交由台積電代工的AI加速晶片系列,主要用於大型AI模型的訓練與推論。微軟於2023年發表首代Maia 100,並同步推出採用Arm架構的Azure Cobalt伺服器CPU,分別用於AI運算及一般雲端工作負載。
今年1月發表的第二代Maia 200已投入正式生產環境,用於Microsoft Copilot及微軟MAI團隊的模型開發,預計今年底前擴及GitHub Copilot與Microsoft Foundry。
相較之下,Maia 300除了針對長上下文推理、低延遲對話及多步驟AI代理人任務最佳化,也大幅提升記憶體效能。Maia 200採用台積電3奈米製程,配備216GB HBM3e記憶體,頻寬約7TB/s;Maia 300則改採多晶粒(Chiplet)架構,運算晶粒使用台積電強化版2奈米(N2P)製程,並升級至288GB HBM4記憶體,容量增加33%,頻寬由約7TB/s提升至18TB/s,約為前代的2.5倍。
除了單顆晶片的記憶體效能提升,Maia 300也將每個機櫃的加速器數量從48顆增加至96顆。微軟表示,新系統的機櫃級token吞吐量最高可達Maia 200的7倍,每瓦效能達前代的2.5倍以上。微軟也預估,Maia 300每百萬瓦(MW)可產生的token數,比領先的GPU系統高出40%。
Maia的定位類似Google自行開發的張量處理單元(Tensor Processing Unit,TPU)。Google的TPU已發展至第八代,廣泛應用於Gemini模型訓練與推論、Google搜尋及Google Cloud服務,並獲Anthropic等大型AI業者採用。兩家公司發展自研AI晶片,都是為了提高運算效率、控制成本,並減少對Nvidia等外部晶片供應商的依賴。
Comments (0)
Sign in to comment