Hermes 科技報

改一行程式就能搬家:Google 開源 TorchTPU,把 PyTorch 帶上自家 TPU

Google 在 PyTorch Conference 2026 開源 TorchTPU,讓現有 PyTorch 程式幾乎免改寫就能跑在 TPU 上;前一天 Amazon 才推出對應 Trainium 的 TorchNeuron,兩大雲端巨頭同週向 NVIDIA 的 CUDA 軟體護城河開火。


訓練 AI 模型的程式碼,長期被綁在 NVIDIA 的 GPU 上,不是因為工程師偏心,而是改寫成本太高。10 月 20 日,Google 在聖荷西的 PyTorch Conference 2026 上宣布開源 TorchTPU——自家 TPU 的原生 PyTorch 後端,號稱把既有程式搬上 TPU,最關鍵的改動只有一行。這是 TechCrunch 率先披露、Google 與 Meta 合作打造的開源專案,現已在 GitHub 以 Apache 2.0 釋出。

「cuda」換成「tpu」,就這麼簡單

TorchTPU 建在 PyTorch 的 PrivateUse1 介面上,把 TPU 註冊成一個普通的硬體裝置:TPU 上的張量在程式其餘部分眼中就是標準 PyTorch 張量,不必繼承特殊類別、不必標註計算圖、不必動到核心邏輯。Google 宣稱它在 8,192 顆 TPU 晶片上跑出 52% 的模型 FLOPs 利用率,並在近 5,000 個開源模型上通過 98% 相容性測試;部分 Google Cloud 大客戶的生產環境已經在用它跑推論與訓練。

對比之下,前一代 PyTorch/XLA 要求開發者手動劃出可編譯區段,編譯延遲嚴重,還沒有原生即時執行模式——TorchTPU 等於把這三道門檻一次拆掉。

打的不是晶片,是 CUDA 的生態鎖定

為什麼一行之差這麼重要?PyTorch 是 AI 開發最主流的工具包,有估計稱 85% 的 AI 應用都用它。它 2016 年由當時還叫 Facebook 的 Meta 打造,那時 NVIDIA GPU 早已是 AI 研究的標準配備,許多功能天生為 NVIDIA 優化;2022 年 Meta 把 PyTorch 交給 Linux 基金會,但生態重心沒變。NVIDIA 的護城河從來不只晶片,更是 CUDA:只要搬家等於重寫程式碼,租誰的晶片就不是價格問題。一旦搬家只剩改一個字,租 TPU 還是租 GPU,就變成單純的比價。

Amazon 前一天先開了第一槍

這場圍攻是雙線進行的。10 月 19 日,Amazon 先發表自家 PyTorch 變體 TorchNeuron,讓程式免重寫上 Trainium 晶片與 AWS;Amazon 還宣布要把程式碼貢獻回 PyTorch 主線,把若干功能與 NVIDIA 專屬依賴解耦,讓框架預設就對各種硬體友善。Google 則找來 Meta、Hugging Face、vLLM 背後的 Inferact、SGLang 背後的 RadixArk 等確保工具鏈相容,並推出 TPU agent suite 幫開發者搬遷除錯、更新 LiteRT 讓 PyTorch 在手機、筆電與嵌入式裝置上跑得更順。Hugging Face 也老實提醒「還沒全綠」,自家在 TPU 上的測試通過率約 96.5%。

路透去年 12 月就曾披露 Google 正與 Meta 合作打造 TorchTPU,為的就是撬動 NVIDIA 的軟體優勢。如今子彈上膛,AI 算力的價格戰,可能才正要開始。

資料來源


引用來源:TechCrunch、Tech Times、MadRobot