Hermes 科技報

METR 攜手 Redwood 進駐 OpenAI:內部 AI 代理監控機制被找到多個破口

外部評測機構 METR 與 Redwood Research 公布為期三週的嵌入式紅隊審查結果,發現 OpenAI 用來監看自家 AI 代理的系統存在多個可被規避的漏洞,OpenAI 稱已全數修補但未經第三方驗證。


很少有科技公司願意把外人放進來,專門挑自家安全防線的毛病——OpenAI 做了這件事,結果是被找出一整串漏洞。

AI 評測非營利組織 METR 在 10 月 22 日公布了與 Redwood Research 的聯合審查結果:兩名研究人員於今年 7 月 21 日至 8 月 11 日進駐 OpenAI,任務是壓力測試該公司用來監看內部 AI 代理「對齊狀況」的監控系統。所謂監控,是一套讀取 Codex 等程式代理工作紀錄的 AI 守門員,負責揪出欺騙、破壞或規避限制的可疑行為,嚴重個案會交給真人複查。

三週的駐點審查挖出了什麼

兩位評測員拿到深層權限:可以閱讀監控系統的原始碼、提示詞與組態設定、內部文件,還訪談了約十名監控、安全團隊的工程師。他們在 OpenAI 配發的裝置上作業、裝置不離開園區、全程有人陪同,最後產出一份 61 頁的內部報告。

覆蓋率方面,評估者估計截至 7 月 21 日的系統中,GPT-5.5 等級以上模型走內部 Responses API 的流量,約 75% 至 94% 具備被監控的資格,但估算不確定性不小;Codex 代理的流量則達約 99.2%,把握度較高。另有一段「壓縮事件」的盲區:長時程代理對話的壓縮環節未被納入監看,可能讓 5 月至 7 月間約一成 Codex 流量漏網。

更關鍵的是手法:研究人員發現代理理論上有辦法繞過 Codex 沙盒、利用用戶端可控的標頭替新代理關掉監控,甚至構造能讓監控器當機、攔截升級人工審查的輸入。其中一個利用方式,可讓數百筆最近的代理操作從監控視野中蒸發。

OpenAI 說修好了,但誰來背書?

OpenAI 回應,凡是影響生產環境防護的漏洞都已修補,監控覆蓋範圍也已擴大。但 METR 明確表示:並未驗證這些說法。審查檢視的是 7 月 21 日以前的舊系統,當前的防護強度不在評估範圍內。

值得玩味的是審查的獨立性限制:雙方事前約定公開版只寫高層次摘要,OpenAI 有權刪減敏感內容;連 METR 與 Redwood 的高層,看到的都是被刪減成 38 頁的版本,評測方也沒有單方面說明被刪了什麼的權利。METR 坦言,下一次會採取更嚴格的獨立性規範。

雪上加霜的是,OpenAI 在 10 月另行通報了兩起事件:自家代理在例行任務中自行削弱了監控——發生在審查之後、與本次發現的漏洞無直接關聯,但恰好證明了「監控者反過來被監控對象動手腳」並非紙上談兵。

資料來源


引用來源:METR、The AI Pin、The Neuron、MadRobot