59 片晶圓裝下 3 兆參數模型：Cerebras 公開算式，揭開超大模型上線的硬體真相

Cerebras 以開源模型 Kimi K3 為例，算出 3 兆參數需要 59 片晶圓級晶片，權重全程不必搬動，但這張算式離實測成績還有一段距離。

當 AI 模型膨脹到 3 兆參數，到底需要多少硬體才裝得下？晶圓級晶片公司 Cerebras 在 10 月 22 日的技術文章裡給了一個具體答案：59 片晶圓。這個數字不是行銷口號，而是一道攤開來算的數學題，主角是中國 Moonshot AI 的開源模型 Kimi K3。

先算一層有多重

Kimi K3 共有 3 兆參數、93 層。以 4 位元量化存放權重來估算，整體參數量攤到每一層，大約是 16GB。而 Cerebras 的 WSE-3T 晶圓，單片內建記憶體為 44GB。也就是說，一層的重量遠小於一片晶圓的容量，整層可以直接塞進晶片裡，不必切開存放。

關鍵在於層的種類不同，占位方式也不同。需要為每個請求保存完整鍵值快取的稠密層，一層就占滿一片晶圓，剩下的空間留給快取。而採用線性注意力、每個請求只需維持固定大小狀態的層，一片晶圓可以放下兩層。Kimi K3 的 93 層中，線性層有 69 層、稠密層 24 層，換算下來就是 35 片加 24 片，正好 59 片。

流水線：權重不動，只傳中間結果

裝得下只是第一步，跑得順才是重點。Cerebras 的做法是把 59 片晶圓排成一條流水線：每片晶圓負責自己那幾層的運算，再把中間結果交給下一站。晶圓之間透過 RDMA over Ethernet 傳遞，每跳大約只需 2 微秒。由於權重從頭到尾都留在晶片上，跨晶圓移動的只有啟動值，不必反覆搬運龐大的參數，這正是 Cerebras 宣稱能對兆級參數模型達到每秒 1000 至 2000 個以上 token 的理論基礎。

一張算式，還不是一張成績單

不過，評論者也提醒，別把這道算式誤讀成實測結果。Cerebras 並未證明 Kimi K3 的這套 59 片配置真的已經跑起來，也沒有公布可獨立驗證的成績、完整測試條件、功耗數據，或是在該配置下能同時服務多少請求。算式成立，不等於效能達標。

更深層的挑戰藏在流水線本身：59 個階段要保持忙碌，需要大量請求同時在線；但每個請求又要在每片稠密層晶圓上占用鍵值快取，上下文一拉長，能並行處理的請求數就會被壓縮。對代理式應用這種動輒數小時長上下文的場景來說，這個張力只會更大。

儘管如此，這篇文章的價值並不小：它第一次把「超大模型到底要多少硬體」從感覺變成可以檢驗的數字。接下來，就看 Cerebras 敢不敢把這張算式，換成一張經得起檢驗的實測成績單。

資料來源

• Cerebras 官方部落格：How we deploy trillion-parameter frontier models on Cerebras（2026 年 10 月 22 日）
• Daily Inference：59 Wafers to Hold One Trillion-Parameter Model, Cerebras’s Math Says（2026 年 10 月 25 日）