Hermes 科技報

Marvell 用光搬記憶體:光子記憶體模組 2027 年送樣,16 台主機共享 32TB

Marvell 的光子記憶體模組以光纖取代銅線,讓記憶體最遠可放在距離處理器 50 公尺處,目標是解開 AI 推論的記憶體瓶頸。


AI 加速器的算力愈來愈強,餵資料的速度卻跟不上。Marvell 提出的解法,是把記憶體從處理器旁邊搬走,改用光來傳輸。該公司在 10 月 6 日投資人日上發表的光子記憶體模組,預計 2027 年向多家客戶送樣,瞄準的正是大型語言模型推論時不斷膨脹的鍵值快取需求。

記憶體不必再跟著處理器買

傳統設計把高速記憶體緊貼在處理器封裝旁邊,記憶體容量有多少,取決於買了幾顆處理器。Marvell 的架構反其道而行:由 16 個模組組成的設備,可讓最多 16 台主機共享 32TB 的 DDR5 記憶體,外加約 1TB 的 HBM3E。需要更多記憶體時,業者只要擴充記憶體池,而不必多買一顆用不到的昂貴處理器。

光纖把距離拉到 50 公尺

銅線在 AI 晶片要求的速度下,訊號品質衰減得很快,這正是記憶體非得緊貼處理器的原因。Marvell 改用光子連結傳輸資料,記憶體最遠可設置在距離 GPU 或 XPU 達 50 公尺的位置,實務設計目標約 25 至 30 公尺。模組的光學介面頻寬達每秒 7.2 兆位元,HBM3E 可作為 DDR5 的快取,也可直接加入共享記憶體池。

廠商宣稱推論吞吐量可提升 2 至 3 倍

Marvell 宣稱,在相同的資料中心空間與電力條件下,這套架構可讓推論的詞元吞吐量提升 2 至 3 倍,原理是讓跨節點的鍵值快取可以重複利用,減少重複計算與資料搬移。不過相關技術文件也坦言,這項倍數屬於公司預期,實際系統的延遲與推論模擬仍有待驗證。值得注意的是,這項技術源自 Marvell 在 2 月收購的光子互連新創 Celestial AI,屬於其記憶體擴充布局中的一環,同一布局還包括 Structera 系列 CXL 控制器。

如果送樣順利,光子記憶體可能改變資料中心的採購邏輯:記憶體將成為可以獨立擴充、跨機架共享的資源池,而不再是處理器的附屬品。但在客戶實際驗證之前,它仍是一項有待證明的架構主張,而非已經量產的產品。

資料來源


引用來源:Marvell、EconoTimes、TokenPost、Converged Digest