真正做到直播串流服務:NVIDIA RTX Broadcast Engine 加上人工智慧,將 Twitch 直播串流服務化為現實

作者 Crowd Favorite

新款 SDK 提供人工智慧綠幕、擴增實境與風格濾鏡等功能,在 TwitchCon 大會可以看到影音串流直播工具 OBS 搭配綠幕的演示活動。

我們在全球規模最盛大的直播主聚會 TwitchCon 上,宣佈推出全新的 RTX 加速軟體開發套件 RTX Broadcast Engine,使用 GeForce RTX GPU 的人工智慧功能為直播節目改頭換面。

在 RTX GPU 上稱為 Tensor Core 的專屬人工智慧處理器支援下,新款的 SDK 可以創造出各大直播網路使用的虛擬綠幕、風格濾鏡及擴增實境效果等技術,而且全都是透過人工智慧技術,無需準備任何特殊設備。

直播電競畫面已經成為一種文化現象,全球有超過7.5億人收看電競直播節目。本週末登場的 TwitchCon 大會是電競直播圈的年度盛事,有超過五萬名直播主和粉絲將齊聚聖地牙哥,跟他們最愛的電競選手見面,以及瞭解電競直播領域的未來發展趨勢。

RTX 把人工智慧用在直播上

NVIDIA GPU 早就是實況主玩 PC 遊戲的心頭首選,Twitch、YouTube、Mixer、虎牙和鬥魚等平台同樣愛用 NVIDIA 的 GPU 來進行編碼和直播遊戲畫面。

在 RTX Broadcast Engine 的人工智慧功能助力下,NVIDIA 宣佈 RTX GPU 可以製作出更具臨場感的直播畫面,而且無需用到特殊攝影機或道具。

新款 SDK 的內容包括:

  • RTX Greenscreen,即時呈現背景,去除網路攝影機輸入的資料,只有實況主的臉和身體會出現在直播畫面中。RTX Greenscreen 人工智慧模型能夠辨識影像中的哪個部分是人類、哪個部分是背景,遊戲玩家無需購買便可享受到綠幕的優點。
  • RTX AR,可以偵測人臉、追蹤眼睛和嘴巴等臉部特徵,甚至還能建立人臉表面模型,使用標準網路攝影機就能做到即時擴增實境的效果。開發者可以用它來建立有趣又引人入勝的擴增實境效果,像是把 3D 內容覆蓋在一張臉上,或者讓一個人用自己的臉來控制 3D 角色。
  • RTX Style Filters,用一種名為風格轉換的人工智慧技術,根據另一張圖片的風格來變換網路攝影機輸入內容的外觀和氛圍。按下熱鍵就能用你最愛的畫作或遊戲藝術風格,對你的影片輸入內容改頭換面。

NVIDIA 與 OBS 讓遊戲玩家也能享用到 RTX Greenscreen 技術

我們還跟頂尖直播軟體業者之一的 OBS 合作加入 RTX Greenscreen 技術,如此一來實況主就能去除他們的背景畫面,或是立即把他們自己投放到任何一個地方,無論是在地球上的任何一處或是虛擬環境。這項在 TwitchCon 大會中獻出首秀的功能,將在未來幾個月內正式推出。

「說到串流媒體和錄影設備,NVIDIA 一直是我的首選。我對他們所做的事情,留下了深刻的印象。他們的 RTX Greenscreen 這一類 RTX 技術更是讓我刮目相看。」OBS 作者 Hugh Bailey 說。

直播商業生態體系支持 NVIDIA Broadcast SDK

RTX Broadcast Engine 將用於整個商業生態體系中的串流媒體應用程式,能夠協助直播主製作出身臨其境的工具和效果,以吸引觀眾及提高收視率。

Streamlabs 執行長 Ali Moiz 表示:「我們非常興奮 NVIDIA 推出新的 RTX Broadcast Engine,讓我們應用程式商店裡的開發人員可以使用 NVIDIA RTX GPU,為實況主創造出功能強大的新工具。我們很高興能繼續與 NVIDIA 合作,他們把新功能介紹給 Streamlabs 開發人員社群,期望能夠真正落實這項新技術。」

XSplit 開發人員關係部門總監 Miguel Molina 說:「我們多年來與 NVIDIA 合作進行了許多專案,推出 NVIDIA RTX Broadcast Engine 一事是到目前為止最讓人期待的事情。XSplit 團隊很高興把這些新工具加入我們的應用程式套件中,徹底發揮 NVIDIA GeForce RTX 的潛力,讓我們的用戶能夠創作出更優質的內容。」

除了 RTX Broadcast Engine,OBS、XSplit、虎牙、鬥魚和 Streamlabs 等各大直播平台已經部署了 NVIDIA Video Codec SDK,以高速直播優質內容。這三個新的整合內容也同樣在這個月首次亮相:

  • Twitch Studio,一項為直播主開發出的全新易用應用程式,現為測試階段,已加入 Video Codec SDK 可製作出優質的串流直播內容。
  • Discord – 頂層語音、影片和文字交談工具,日前推出的 Go Live 是一款讓用戶可以在跟友人於 Discord 伺服器聊天的同時,又立即把遊戲畫面直播給朋友觀看的工具。Go Live 加入 Video Codec SDK 一事,代表最新的 NVIDIA GPU 可以把對遊戲效能的影響降到最低,提供極為流暢的遊戲體驗。
  • Elgato 是全球最大遊戲畫面擷取卡的製造商之一,近期在自家最新的 4K60 Pro MK.2 影像擷取卡軟體內加入 Video Codec SDK,能夠使用高動態範圍功能錄製 60fps 格式的 4K 畫質影片。

在 developer.nvidia.com/rtx-broadcast-engine 網頁中提供更多關於 RTX Broadcast Engine 的資訊給開發人員,也能申請早鳥測試資格。或是請至 TwitchCon 大會的 OBS 展位(編號#1823),我們將在 OBS 的展位展示 RTX Greenscreen 功能、新款 RTX Studio 筆記型電腦與即將推出的 RTX 遊戲大作。