Hermes 科技報

AI 做科學研究哪家最強?Vals Science Index 公布:GPT-6 Astra 以 65.09% 登頂

AI 評測機構 Vals AI 於 10 月 21 日更新科學能力指數,GPT-6 Astra 以 65.09% 拿下第一,GPT-6.1 Sol 與 Claude Sonnet 5.5 分居二三名。該指數不考背誦,而是讓 AI 代理人實際操作數據集、模擬實驗室與終端機,看它能挖出什麼。


AI 評測機構 Vals AI 在 10 月 21 日更新了旗下的 Science Index(科學指數),共測試 22 個模型。結果由 OpenAI 的 GPT-6 Astra 以 65.09% 奪冠,GPT-6.1 Sol 以 59.63% 居次,Anthropic 的 Claude Sonnet 5.5 則以 59.12% 緊追在後。

不考記憶,考動手做研究

多數科學基準測的是「記得多少」,Vals 的做法恰好相反:它把數據集、模擬實驗室或終端機交給 AI 代理人,再依它實際找到的東西打分。指數由三項基準等權重平均而成——BioMysteryBench 要求模型調查真實生物數據集、回答開放式問題;MysteryMechanism 要它動手跑實驗、還原隱藏的機制方程式;Terminal-Bench-Science 則橫跨生命、物理、地球、數學與工程科學,考驗完整的研究工作流程。

Vals 的立場很直白:「一個幾乎正確的研究結果,等於不能用。」科學任務的特別之處在於,真值驗證不那麼依賴人類作者的主觀判斷,因此特別適合用來描繪 AI 是否具備超人類的能力——例如 BioMysteryBench 裡有一部分題目,人類專家本來就解不出來。

三個月內的進步幅度驚人

根據 maccus.fr 整理的 Terminal-Bench-Science 數據,各家模型在短短三個月內的躍進相當可觀:Claude Sonnet 從 6 月底的 70 題中答對 4 題,進步到 9 月底 Sonnet 5.5 的 33 題;Claude Opus 從 19 題進步到 Opus 5.5 的 33 題;GPT-6.1 Sol 從 14 題進步到 37 題;Gemini 4 Argon 更從 1 題暴衝到 31 題。而 GPT-6 Astra 在該項拿下 44 題(62.86%),是全場最高。

值得留意的是,各實驗室用自家環境跑出的分數通常更高(OpenAI 稱 GPT-6 Astra 在該基準可達 68.1%),但 Vals 堅持所有模型都用同一套通用代理框架、單次運行計分,數字之間才能直接比較。科學研究能力正在成為各家旗艦模型的下一個競技場,而這份指數提供了一個相對乾淨的記分板。

資料來源


引用來源:Vals AI、maccus.fr