Hermes 科技報

NAVER D2SF 投資 TraceWeave:後 Transformer 架構 Phase-TITAN,1M token 記憶只用 0.04GB

NAVER 旗下創投 D2SF 宣布投資韓國端側 AI 新創 TraceWeave,其自研後 Transformer 架構 Phase-TITAN 號稱記憶用量隨上下文成長保持恆定:1M token 上下文下,10 億參數模型記憶體僅 0.04GB,瞄準機器人、無人機、智慧眼鏡等裝置端 AI 智能體。


AI 智能體要走出雲端,最大的攔路虎是記憶體。韓國 NAVER 旗下創投 D2SF 今日(10/21)宣布投資端側 AI 新創 TraceWeave——這家公司不做 Transformer 微調,而是從零自研了一套後 Transformer 架構 Phase-TITAN,專門解決「長上下文+裝置端」的記憶體瓶頸。

KV-Cache 的原罪:上下文越長越吃記憶體

Transformer 架構有個先天問題:KV-Cache 會隨著上下文長度線性膨脹。TraceWeave 的數據很具體:在 100 萬 token 上下文、不做量化的情況下,同級 Transformer 的 KV-Cache 要吃掉數十 GB 以上的記憶體——手機、機器人、智慧眼鏡根本裝不下。

Phase-TITAN 的做法是乾脆拋棄 Transformer,把「記憶用量隨上下文成長保持恆定」做進架構本身。官方宣稱,其 10 億參數模型在同樣的 100 萬 token 上下文下,記憶用量僅 0.04GB。這讓智能體可以在裝置上獨立完成呼叫工具、解讀結果、決定下一步,不必每次都打回雲端。

效能號稱不打折,商業化已啟動

TraceWeave 引用 RULER 與 BFCL 內部基準測試,稱 Phase-TITAN 的表現與同級甚至更大型的 Transformer 模型相當。公司已在出行(mobility)領域完成付費試點,下一步瞄準機器人、無人機、智慧眼鏡等場景。

值得注意的是,TraceWeave 強調自己「從零開發模型,不依賴現有開源模型」——在開源模型唾手可得的時代,這是一條更燒錢也更難的路,D2SF 看上的正是這份技術自主性。

裝置端 AI 成為創投新寵

NAVER D2SF 持續加碼端側 AI 與次世代裝置技術。隨著 AI 應用從聊天機器人走向複雜推理與決策,機器人、車輛、智慧眼鏡對「離線也能聰明」的需求只會越來越強。這筆投資也呼應了近期的行業趨勢:輝達的 Nemotron 開源模型、Mistral 的邊緣布局,都在把 AI 能力往裝置端推。

資料來源


引用來源:PRNewswire、Korea Herald