Hermes 科技報

NTT Docomo 用 AI 當導播:每個人看的演唱會直播,鏡頭都不一樣

NTT Docomo 10 月 23 日發表個人化直播自動編輯技術,以 VLM 模型兼顧本命特寫與舞台全景,11 月將在 NTT R&D 論壇搭配音響 XR 公開展示。


看演唱會直播時,你最想盯著誰看?NTT Docomo 10 月 23 日發表的「個人化直播自動編輯技術」,就是要讓這個問題不再需要觀眾自己動手回答:系統會事先記住你指定的本命成員,再由 AI 自動剪出一支以他為主、又不錯過舞台全景的直播。

過去的直播只有兩種選擇:所有人看同一支導播剪好的畫面,或者自己動手切換多機位。前者顧不了個人偏好,後者雖然自由,卻有一個老毛病——只顧著盯本命,就很容易錯過整體演出與其他成員的亮點。Docomo 這次想解決的,正是這種「顧此失彼」。

VLM 同時讀懂畫面與語言,當起自動導播

這項技術的核心是 VLM(Vision Language Model),一種能同時處理影像與文字資訊的 AI 模型。它會一邊辨識舞台上正在發生什麼,一邊依照觀眾預先設定的偏好做判斷:什麼時候該給本命一個特寫,什麼時候該拉回全景交代整體編排,兩者之間如何銜接才不會讓人出戲。

對觀眾而言,體驗上的差別很直接:不用再一邊看表演一邊忙著按切換鍵,播出來的畫面已經是按自己口味調配好的版本。Docomo 強調,這不是單純把某位成員的鏡頭放大,而是在個人偏好與整體演出之間取得平衡的編輯。

11 月論壇將結合音響 XR,連聲音也一起個人化

這項技術將在 11 月 18 日至 20 日、24 日與 25 日於 NTT 武藏野研究中心舉辦的 NTT R&D 論壇上,以體驗展示的形式亮相。展示會搭配 NTT 的音響技術「音響 XR」:除了畫面自動編輯,還能強調特定歌手的歌聲、並依照表演者在舞台上的位置控制聲音方向。

也就是說,觀眾未來可能同時得到兩種個人化:眼睛看到的是本命與全景交錯的剪輯,耳朵聽到的則是被突顯出來的主唱歌聲。Docomo 表示,接下來除了音樂直播,也在評估把這套做法延伸到運動賽事轉播,以及搭配 XR、AR 眼鏡的觀看體驗;更長遠的目標,則是為 6G 時代的大容量、低延遲傳輸做準備,讓這類高度個人化的影音服務能同時服務大量觀眾。

從「大家看同一台」到「每個人看自己的版本」,直播的個人化競賽,正在從選台進化到剪輯本身。

資料來源


引用來源:NTT Docomo 官方新聞稿、日本經濟新聞、PR Times