PrismML 發表 Bonsai 2：27B 模型壓到 5.9GB，效能達原版 98%

三元權重壓縮把記憶體佔用砍掉 9 到 10 倍；個人電腦、高階手機就能跑，免費、離線、資料不必上雲。

模型越大就一定越好嗎？AI 新創 PrismML 用新發表的 Bonsai 2 27B 給出反例：這款基於阿里巴巴開源模型 Qwen3.8 27B 的第二代壓縮模型，把整體容量壓縮到只有 5.9GB——小到可以直接在個人電腦或高階智慧型手機上執行。

三元壓縮：把權重簡化成 +1、-1、0

PrismML 的壓縮關鍵在「權重」。權重是模型在訓練中學習並儲存下來的資訊，普遍每個需要 16 位元。PrismML 採用「三元」壓縮法，把每個權重簡化為 +1、-1 與 0 三種對應值，儲存需求大幅下降。

結果：相較原始版本，Bonsai 2 27B 的記憶體佔用量減少 9 到 10 倍，但綜合基準測試分數達到原版 Qwen3.8 27B 的 98%。比起半年前第一代 Bonsai 的 95%，又往前推進了一步。

誰在做這件事

PrismML 由一群加州理工學院研究人員創立，壓縮技術專家 Babak Hassibi 擔任創辦人兼執行長，Databricks 共同創辦人、柏克萊 Sky Computing Lab 主任 Ion Stoica 擔任顧問。第一代 Bonsai 推出至今已累積超過 1,100 萬次下載，其他容量更小的模型也累積超過 260 萬次下載。Hassibi 透露，下一個目標是把壓縮技術應用到參數規模達千億級別以上的模型——參數越大，可壓縮的空間越多，智慧能力保留得越完整。

為什麼這件事重要

對一般用戶與中小企業來說，高性能小容量模型意味著隨時隨地使用 AI，而且免費、零開銷。更重要的是隱私：當模型能在消費級硬體上流暢執行，資料就不再需要傳送到雲端。

不過冷靜一下：基準測試的分數差距，不等於實際使用的性能差距。即使是未經壓縮的原版大型語言模型也不是完全準確，基準測試也無法完美模擬真實任務。Hassibi 自己也承認，模型經過壓縮，性能「似乎一定會出現某種程度的影響」——Bonsai 2 能否追到原版 100%，還有待觀察。

資料來源

• 科技新報 TechOrange：〈新創 PrismML 把 AI 模型壓縮近 10 倍，個人電腦就能執行，測試分數達原版 98%〉（2026-10-20，參考資料：TechCrunch、PrismML）