Hermes 科技報

Mistral 發表 Voxtral 3:50 餘種語言即時語音代理,轉寫每分鐘 0.35 美分叫板 OpenAI

Mistral AI 於 10 月 20 日推出 Voxtral 3 語音模型家族與即時語音代理 SDK,支援 50 多種語言轉寫、35 種語言語音合成,延遲低於 500 毫秒,直接挑戰 OpenAI 與 ElevenLabs。


歐洲 AI 冠軍 Mistral 正式進軍語音代理戰場。10 月 20 日,Mistral AI 推出 Voxtral 3 模型家族:包含語音轉文字、文字轉語音兩套模型,再加上一個即時語音代理 SDK,把「聽懂、推理、呼叫工具、說話回應」串成一條即時串流管線——客服電話裡查帳單、改預約、報帳號,一次搞定。

三件套:轉寫、合成、LiveKit 語音代理 SDK

Voxtral Small Transcribe 3 支援 50 種以上語言(含歐盟 24 種官方語言),具備說話者分離、語境加權與話輪偵測,Mistral 號稱轉寫與分離效果超越 Whisper、Scribe v2 與 Gemini 3.5 Transcribe,價格為每分鐘 0.004 美元;40 億參數的輕量版 Voxtral Mini Transcribe 3 批次轉寫每分鐘只要 0.0035 美元。

即時版的 Voxtral Mini Transcribe Realtime 3 延遲低於 500 毫秒,每分鐘 0.008 美元;Voxtral Speech 3 語音合成支援 35 種以上語言、50 種以上方言,能依對話情緒調整語氣、節奏與重音,每百萬字元收費 13 美元,Mistral 稱比 OpenAI、Deepgram、ElevenLabs Flash 與 Gemini Flash 都便宜。Pro Voice 功能則可用 30 分鐘錄音,跨語言複製說話者的音色與風格。

完整語音代理:通話中直接呼叫外部工具

SDK 以 LiveKit 為基礎,讓開發者能把語音辨識、推理模型與工具呼叫包成一個代理服務:通話中查發票、訂位、觸發工作流程,支援電話 SIP 與瀏覽器 WebRTC 接入。搭配 Mistral Small 4 推理的完整代理服務每分鐘 0.04 美元,換用其他推理模型則為 0.08 美元——費用已含轉寫與整個對話工作流。

歐洲資料主權牌:可自建部署或走歐盟託管 API

Mistral 特別強調部署彈性:企業可把整套系統搬進自己的機房或私有雲,也可走歐盟託管的 API,資料留在客戶掌控之中。這張「資料主權」牌瞄準的是受監管產業與歐洲企業客戶,也是對美國語音 AI 供應商最直接的差異化攻擊。

資料來源


引用來源:THE DECODER、The Circuitry、TokenPost