新聞

Google和Meta旗下的PyTorch團隊周二公布開源AI開發軟體堆疊（stack）TorchTPU等產品，可讓PyTorch更容易在Google TPU上執行，而吸引應用程式開發社群，藉此挑戰Nvidia長年獨霸地位。

TorchTPU是Google在PyTorch 2026大會上公布的多項產品中最重要的一項。TorchTPU使PyTorch可原生執行在Google Cloud TPU上，開發人員或開發商能利用習慣的工具像是vLLM、SGLang、llm-d、TorchTitan、Ray、TorchRec、HuggingFace、LiteRT等訓練、部署和提供模型。

TorchTPU是Google和PyTorch共同開發，可讓現有PyTorch工作負載只需最小程式碼變更跑在Google自己的TPU，使用熟悉的API。根據TorchTPU網頁說明，TorchTPU提供TPU PyTorch Aten核心實作、XLA運算執行的編譯快取，它支援分散式訓練（涵括資料平行和Tensor平行架構），並提供多種模型的範例（如Llama、Qwen、ResNet、DLRM、minGPT和UNet），以及除錯和標竿測試工具。Google指出，開發者可先以即時執行模式進行開發與除錯，再透過torch.compile最佳化TPU利用率、減少記憶體耗用，以提高正式環境的執行效能。

Google也和Hugging Face合作，讓後者平臺上的開源模型能原生執行在TorchTPU上。在機器學習函式庫Transformers v5中，現在部署模型到Google Cloud TPU上只要設定device_map="tpu"即可。有了TorchTPU，現在Diffusers函式庫已能原生跑在Cloud TPU上。此外為了維持穩定性，Google也打造專用的CI/CD管線以支援Transformer套件在TPU上的測試。

透過TorchTPU讓PyTorch原生支援Cloud TPU，Google希望能打破Nvidia龐大的CUDA軟體生態系。Amazon Web Services (AWS)也基於同樣的策略，於日前公布TorchNeuron，降低AI模型轉用Trainium晶片門檻。