Google TPUv7 跑 Kimi K3 叫陣 NVIDIA：每美元推論效能不輸，AI 運算不再只有一種選項

SemiAnalysis InferenceX 與 vLLM 開發者 Inferact 10 月公布的實測比較顯示，Google TPUv7 跑 2.8 兆參數的 Kimi K3，在高互動速度下的每美元效能與 NVIDIA、AMD 系統不相上下；MI355X 在相同模型上的每百萬 token 成本甚至低於 B200。

跑 AI 模型不一定需要 NVIDIA。這句話正在從願景變成實測數據：vLLM 開發者 Inferact 與 Google 合作，拿 2.8 兆參數的 Kimi K3 在 TPUv7 上做推論測試，並與 NVIDIA GB300 NVL72、AMD MI355X 並列比較。10 月 18 日更新的比較圖顯示，在高互動速度（每用戶高 token 速率）的場景下，TPUv7 的「每美元總 token 數」不輸 NVIDIA 與 AMD 方案。

實測數字：MI355X 比 B200 更便宜

SemiAnalysis InferenceX 的實測給出了具體成本數字。在 AgentX 編碼工作負載、每用戶 50 token/秒 的條件下，Kimi K3 在 NVIDIA B200 上每 GPU 每秒 6,505 token，換算大型超算量級自有成本約每百萬 token 0.074 美元；在 AMD MI355X 上每 GPU 每秒 7,970 token，成本約每百萬 token 0.052 美元——MI355X 的每美元效能反而壓過 B200。

Kimi K3 是目前少數能讓 MI355X 的 HBM 大容量優勢轉化為實質領先的模型之一：8 張 MI355X 在 1024 token 輸入、400 token 輸出的基準中，聚合吞吐量約為 2 節點 B200 部署的 3.8 倍。

為什麼這件事重要

跑分之外，真正的故事是議價權。當同一個開源權重模型能在 TPU、MI355X、B200 上都跑出有競爭力的每美元成本，雲端服務商與大型企業在採購 GPU 時就有了替代選項——不再被單一硬體綁架。這也是 Google 積極展示 TPUv7 推論能力的動機：雲端算力租賃的定價權，正在被實測數據重新定價。

當然，所有數字都附帶條件：硬體價格（$2.50/GPU-hr vs $6.00/GPU-hr）、引擎版本、精度（fp4）與工作負載都會影響結果。worldprogramming.org 的測試也提醒，B200 的數字部分被跨節點通訊拖累。看的是趨勢，不是抄作業。

對企業來說，推論成本是 AI 應用的隱形支出，模型越大、報表越頻繁，帳單越可觀——這也是看店勢用緩存設計控制 AI 分析成本的務實考量：資料不變就不重算，錢花在刀口上。

資料來源：SemiAnalysis InferenceX 實測頁面、Inferact 公布的比較圖表（數據更新至 2026 年 10 月 18 日）。