DeepSeek 開源 DeepInfer：自家生產級推理引擎，Apache 2.0 免費拿去用

DeepSeek 在 10 月 20 日開源 DeepInfer——支撐自家生產服務的推理框架，支援 NVIDIA SM100 與華為昇騰 950，單叢集每日吞吐達 155 兆 token，劍指企業推理成本。

DeepSeek 在 10 月 20 日（週二）宣布開源 DeepInfer——這是支撐該公司大規模生產服務的高效能推理框架，採用 Apache 2.0 授權釋出，等於把自家「怎麼便宜又快地跑模型」的整套家當交給社群。

DeepInfer 到底是什麼

推理（inference）是訓練好的模型處理請求、生成回答的過程，也是 AI 服務真正的長期成本所在。DeepInfer 把 DeepSeek 生產環境用的一整套優化打包起來：

• 客製化 kernel：從 DeepSeek 先前開源的 FlashMLA、DeepGEMM、DeepEP 等函式庫提煉的高效算子；
• 分散式並行：把模型工作量拆到多顆處理器，包含針對混合專家（MoE）模型的專家並行；
• 推測解碼（DSpark）：用草稿模型一次猜 5 個 token 再驗證，加速文字生成；
• 結構化輸出：回應用 regex、JSON schema 或 EBNF 文法約束成固定格式；
• 非同步排程：CPU 批次排程與裝置執行重疊，壓低閒置。

數字很嚇人：155 兆 token／天、96% 快取命中

DeepSeek 公布了 V4.1-Flash 在 DeepInfer 上的生產數據：單一叢集每日吞吐 155 兆 token、輸入快取命中率高達 96%、首 token 平均約 400 毫秒、生成速度每秒 230 個 token（寫程式任務最高 300）。96% 的快取命中率意味著絕大多數輸入上下文直接從記憶體取用、不必重算。

硬體方面，DeepInfer 首發支援 NVIDIA SM100（Blackwell）GPU 與華為昇騰 950 NPU 兩大家族——這也是華為晶片首度獲得一線 AI 實驗室的「生產級背書」。不過要注意：批次不變推理與確定性採樣等功能在本版僅限 NVIDIA 平台。

沒開源的部分，以及真正的戰場

DeepSeek 同時釋出了 MIT 授權的 deepseek-recipe，讓自建部署的 token 編解碼行為與官方 API 完全一致。但 DeepInfer 刻意拿掉了線上服務的關鍵拼圖：KV 快取、預填充／解碼分離、副本負載平衡都不在開源包裡——它鎖定的是離線與批次推理場景。

TechTarget 指出，這波開源正好打在企業想壓低推理成本的痛點上：AI Agent 動輒吞掉海量 token，帳單驚人。DeepInfer 讓企業能自己架、自己跑，直接威脅 Fireworks、Together、Groq 這類託管推理商的定價，也給 OpenAI、Anthropic 帶來價格壓力。用 DeepSeek 自己的話說：目標是「幫社群降低算力成本、減少能源消耗，讓 AI 更便宜」。

資料來源

• TechTarget：〈DeepSeek makes DeepInfer open source to cut AI costs〉（2026-10-20）
• THE DECODER：〈Deepseek open-sources the inference engine that powers its fastest and cheapest AI model〉（2026-10-20）