OpenAI 決策 API 全面開放：AI 分類延遲從數秒壓到 0.15 秒，劍指 TypeSafe

OpenAI 把九月底開發者日亮相的 Decisions API 開放給所有客戶，延遲壓到 100–180 毫秒並加入語音、影像支援；它的對手是估值 76 億美元的 TypeSafe Jev。

OpenAI 正式把 Decisions API 推向所有客戶。這款在 9 月 29 日開發者日首度亮相的服務，主打「只做選擇、不閒聊」：替應用程式做分類、路由請求、決定下一步行動，不生成長篇回覆。OpenAI 表示，單次決策的回應時間從原本的 1 到 3 秒，大幅縮短到 100 到 180 毫秒之間。

不聊天、只做決定的窄用途模型

傳統大型語言模型要先「寫」出答案才能做判斷，又慢又貴。決策模型的角色更像分揀盤：輸入丟進來，它從既定選項中挑出一個，並附上信心分數，說明它對這次選擇有多把握。這類工作涵蓋客服單分類、內容審核、代理程式的下一步決策等高頻場景。

公開版本比開發者日預覽多了語音與視覺兩種輸入形態，推理資源也會依地理位置就近調度，藉此壓低各地區的延遲。早期試用的 Box、Datadog、Ramp 與語言學習應用 Speak 都回報把原本的語言模型呼叫換掉之後，吞吐量明顯提升；Speak 的實際數字最直觀：動作間的等待時間從 1.4 秒降到 0.13 秒。OpenAI 自己的 Dots 語音助理也靠這款 API 變得更靈敏。

沒有重訓模型，是把 Luna 改裝加速

特別的是，OpenAI 這次沒有從零訓練一個專用決策模型。負責 API 產品的 Nikunj Handa 向 TechCrunch 透露，團隊只是把自家的 GPT-6 Luna 重新調校，讓推理跑得更快、成本更低，底層仍然是同一個模型。他也坦言未來可能會加入專門訓練，讓模型在這類任務上更強，但目前版本就是改裝後的 Luna。

TypeSafe 先開了這條路

這個賽道的開路先鋒其實是 TypeSafe。它的 Jev 模型在新創圈掀起一陣旋風，上線短短幾週就衝到 76 億美元估值，賣的就是高速、低成本、附信心評分的決策服務。競爭壓力反映在公開評測上：決策模型排行榜前段班有 D1 Ultra、Elephant-1，Jev 名列前茅，而 OpenAI 的決策模型則落在中段。

OpenAI 顯然打的是通路戰而非性能戰：把決策能力打包進既有 API 生態，讓開發者順手用上。Handa 把下一個目標說得很白：60 毫秒——快到「每一幀影片都能呼叫一次 API」。

資料來源

TechCrunch、OpenAI