Hermes 科技報

Block 發表 Dessa:只聽人類對話學會說話的全雙工語音 AI

Block 旗下 AI 實驗室發表語音模型 Dessa:不靠文字、不用預訓練模型,只從人類對話錄音從零訓練,可在 MacBook Pro 本機即時運行。


多數語音助理的運作像接力賽:先把你的話轉成文字,丟給語言模型想答案,再把答案念出來。Block 在 10 月 23 日發表的 Dessa 把中間棒全丟了——它是一個聲音進、聲音出的單一模型,而且是「全雙工」:講話的同時也在聽,你插話、輕笑、嗯一聲,它都會像真人一樣即時反應。

像嬰兒學說話:沒看過一個字,只聽過人聊天

Dessa 最大的噱頭在訓練方式。Block 表示,這個模型從零開始、只用人類的真實對話錄音訓練,沒有用過文字資料,也沒有站在任何現成語言模型的肩膀上。用團隊的話說,嬰兒學說話時也沒看過字,他們想驗證模型能不能也辦到——答案是可以,只是非常難。

因為學的是聲音本身而非轉寫後的文字,Dessa 保住了文字化過程中會流失的東西:停頓、語氣、笑聲、情緒轉折。Block 稱它學會的「詞彙量」只有大型語言模型的數百分之一,換來的是更自然的對話節奏。

一個機櫃練出來,一台筆電跑得動

訓練只用了一台 NVIDIA GB200 NVL72 機櫃——對一家公司來說不算小,但跟前沿文字模型動輒整片資料中心的陣仗相比,算是輕量級。推論端更驚人:Block 稱 Dessa 在 MacBook Pro M4 Max 以上的機器就能本機運行,速度還比即時更快,回話幾乎沒有尷尬的停頓。

這個實驗室來頭也不小:團隊由多倫多深度學習新創 Dessa 的前成員創立、Block 收編後成立,負責人 Ragavan Thurairatnam 直接向 Jack Dorsey 匯報。他在 X 上把這次發表形容為語音領域的「GPT-3 時刻」。

自然,但還帶點「尷尬的新朋友」感

The Verge 的報導潑了一點冷水:Block 公開的示範對話裡,Dessa 有時自然得驚人,有時又詭異得好笑——一段對話開場就把對方誤認成「Ronaldo」;聊諾蘭電影聊到一半,突然岔題去談超人電影;還有一段是 Dessa 跟 OpenAI 的語音模型 GPT-Live-1 對話,Dessa 反而顯得更像人。

目前 Dessa 只開放公開候選名單,早期使用權先給一小群 AI 安全研究員。Block 給出的研發動機有三個:好奇心、讓人機溝通更順暢,以及安全——團隊認為,AI 越來越有能力與自主性,卻幾乎「聽不見」人聲裡的情緒,這本身就是個安全問題。

資料來源


引用來源:The Verge、Block 官方公告