Hermes 科技報

DeepSeek 把量產推論引擎 DeepInfer 開源：Apache 2.0 釋出，NVIDIA 與華為晶片通吃

DeepSeek 在 GitHub 公開旗下量產服務的推論框架 DeepInfer，這是頂級模型實驗室首次把真正的線上服務堆疊交給社群，同時支援 NVIDIA SM100 與華為昇騰 950。

10 月 20 日（週二），DeepSeek 在 GitHub 以 Apache 2.0 授權釋出了 DeepInfer——這套推論框架，正是支撐其線上服務、驅動 DeepSeek-V4.1-Flash 的底層引擎。值得玩味的是，DeepSeek 去年四月還公開表示，自家服務引擎和內部系統綁得太深、沒辦法釋出；一年半後轉彎，成為第一線模型實驗室裡第一個把量產級服務堆疊完整交給社群的案例。

引擎裡裝了什麼

根據 GitHub 上的 README，DeepInfer 主要建在開源的 vLLM 之上，同時吸收了 SGLang 與 TensorRT-LLM 的設計想法。它把 DeepSeek 先前陸續公開的最佳化核心打包進來：FlashMLA、DeepGEMM、DeepEP，外加 TileKernels、DeepSelect 與自研的 TileLang 核心。

分散式策略走的是全套打法：注意力資料並行、平衡式上下文並行，以及針對混合專家架構的專家並行加上負載平衡（EPLB）。解碼端用的是名為 DSpark 的推測解碼——先草擬最多五個 token，再用信心度估計決定何時驗證；SWA 有界重播則用來砍掉 prefill 階段的多餘運算；零開銷的非同步排程器讓 CPU 的批次規劃和晶片執行可以重疊進行。另外還支援結構化輸出（正規表示式、JSON Schema、EBNF 文法），以及只在 NVIDIA 平台上提供的批次不變推論與確定性取樣——同樣輸入，跑幾次結果完全一樣。

要潑一盆冷水的是：首版只支援 DeepSeek-V4.1-Flash，而且僅限離線推論。KV 快取系統、prefill 與 decode 分離、負載平衡都不在盒子裡，想做完整線上服務，得自己補上這些零件，或是搭配 vLLM、SGLang 使用。

雙晶片策略與官方自報的量產數字

硬體支援一次押兩邊：NVIDIA SM100（CUDA 13）與華為昇騰 950（CANN 9.2）。TechTarget 的分析點出，這讓 DeepSeek 能同時討好中國與西方客戶——在各家競相降低對 NVIDIA 依賴的當下，雙軌支援本身就是一種表態。

DeepSeek 在知乎的技術文章裡自報了一組量產數字：單一叢集每天可處理 155 兆個 token；按離峰價格換算，每顆 GPU 每小時約可創造 38 美元收入；輸入快取命中率高達 96%；首個 token 平均約 400 毫秒吐出；吞吐每秒 230 個 token，寫程式場景最高到 300。這些都是官方數據，未經第三方獨立驗證。MarkTechPost 則整理了它的基準配置：prefill 用 4 張卡、decode 用 64 張卡，在 256 requests per rank、EP64、131072 上下文的條件下，每張 GPU 每秒可輸出超過 25,000 個 token。

同場釋出的還有 deepseek-recipe（MIT 授權）：負責把文字轉成 token 再轉回來，轉換方式與官方 API 完全一致。DeepSeek 承諾，未來模型的推論程式碼也會進同一個 repo。

「開源對閉源」的一局

南華早報的報導捕捉到這次釋出的火藥味：DeepSeek 資深研究員把開源與閉源陣營的對立，形容為光明與黑暗之間的對決，並喊出要讓開源取得「全面勝利」。官方的檯面說法則務實得多：幫社群壓低算力成本、節省能源，讓 AI 更便宜。

時間點也值得注意。V4.1-Flash 九月問世，上週末的一次更新後，被第三方評測機構 Artificial Analysis 列為全球最強、也最具成本效益的開源權重模型之一。模型受歡迎，但新架構往往要等 vLLM 或 SGLang 跟上支援，社群自己架的服務很少能追上官方 API 的效能——DeepInfer 正是要補上這塊落差。

從企業角度看，TechTarget 點出了更現實的動機：當 AI 代理動輒吞掉海量 token，推論成本正是企業導入 AI 時最頭痛的一塊。把自家量產引擎開源，等於把「怎麼把每個回答的成本壓下來」的方法論，直接攤在桌上給所有人看。

資料來源

引用來源：TechTarget、SCMP、MarkTechPost、technology.org