Hermes 科技報

Amazon 推出 TorchNeuron 公開測試：PyTorch 程式免重寫，把 .to('cuda') 改成 .to('neuron') 就能上 Trainium

AWS 10 月 19 日宣布將 TorchNeuron 從私人測試擴大到公開測試：開發者只需改一行設定，就能在 Amazon 自研 Trainium 晶片上執行既有 PyTorch 程式，並預計以 Apache 2.0 授權開源。TechCrunch 稱這是 Amazon 對 NVIDIA 迄今最大的一次挑戰。

AWS 在 10 月 19 日宣布，將開發工具 TorchNeuron 從私人測試擴大至公開測試。根據 Amazon 旗下晶片部門 Annapurna Labs 的說明，在相容的工作負載中，開發者只需把原本指定 NVIDIA GPU 的 .to(‘cuda’) 改成 .to(‘neuron’)，既有 PyTorch 程式就能轉向 Amazon 自研的 Trainium 晶片執行，不必重新設計模型。工具支援 Trainium2 與 Trainium3，預計以 Apache 2.0 授權免費開放原始碼。

從 XLA 到原生後端：這次不一樣在哪

TorchNeuron 並非 AWS 第一次讓 Trainium 跑 PyTorch。過去透過 Neuron SDK、PyTorch/XLA 也能做到，但必須先把運算轉換成計算圖再執行，增加程式除錯難度，也影響部分既有 PyTorch 工具的相容性。

這次的改變，是提供 PyTorch 原生硬體後端：支援即時執行模式（eager mode），可逐步執行程式、檢查運算結果，也支援 torch.compile 編譯與 FSDP 等分散式訓練功能。AI 開發平台 Hugging Face 也已在 Transformers、Diffusers 等常用工具中加入原生支援。Annapurna Labs 軟體副總裁 Colin Brace 接受路透社訪問時說，這次的設計理念是「配合客戶既有的工作方式，而不是要求開發者重新適應工具」。

挑戰的其實是 CUDA 這道護城河

NVIDIA 的競爭優勢不只在硬體效能，更在經營十多年的 CUDA 軟體生態系：神經網路函式庫 cuDNN、多 GPU 通訊函式庫 NCCL、以及大量針對 NVIDIA GPU 最佳化的程式碼，讓企業想換晶片就得付出重寫成本。TorchNeuron 瞄準的正是這道護城河——TechCrunch 將這項進展形容為「Amazon 迄今對 NVIDIA 最大的一次挑戰」。

Annapurna Labs 表示，目前已有超過 30 家早期客戶使用這項新工具，涵蓋機器人、世界模型（World Models）與語音 AI 等領域；部分客戶回報切換到 Trainium 後可帶來顯著的成本節省。

不過降低程式移植門檻，不代表企業就能省下效能最佳化成本。語音 AI 公司 Deepgram 與 AWS 合作，將 Nova-3 語音辨識模型部署至 Trainium2：在特定離線批次推論工作負載中，每美元可處理的音訊量增加 11%～70%，但雙方工程團隊仍花費數個月移植模型、調整運算核心與執行環境，才達到所需的效能表現。

資料來源

引用來源：TechNews 科技新報、TechOrange