編者按：這篇文章屬於「解碼 AI 」系列，該系列文章會以簡單易懂的方式解碼 AI，並展示適用於 RTX PC 使用者的全新硬體、軟體、工具和加速功能。
AI已徹底改變了運算方式。最近的焦點是生成式AI，但AI加速的 NVIDIA RTX 工具也是這些年來改善遊戲、內容創作和生產力的關鍵。
NVIDIA Broadcast 應用程式就是一個例子，該應用程式使用本機RTX GPU 上的 Tensor 核心流暢地提升音訊和影片品質。這款應用程式搭配 GeForce RTX 和 NVIDIA RTX GPU 內建的 NVIDIA 編碼器 (NVENC)，可讓您輕鬆成為直播主，或在視訊會議通話中看起來更專業。
串流夢想
高品質的直播以往需要昂貴的硬體。許多直播主使用 x264 軟體函式庫的軟體 CPU 編碼，這往往會影響遊戲品質。這讓許多人轉而使用雙 PC 設定，其中一台 PC 專注於遊戲和內容，另一台則負責編碼串流。這種配置組裝起來很複雜，也很難進行疑難排解，而且對新進的直播主來說，成本常常高得驚人。
NVENC 可以提供協助。這是 NVIDIA GPU 上的專用硬體影片編碼器，負責處理編碼、釋放系統的剩餘部分，以專注於遊戲和內容效能。Open Broadcaster Software (OBS) 等領先業界的串流應用程式正在新增對 NVENC 的支援，為新一代直播主在 Twitch 和 YouTube 等熱門平台上鋪路。
同時，NVIDIA Maxine 也有助於解決設備昂貴的問題。此套件包含免費的AI功能，例如虛擬綠幕和網路攝影機擴增實境追蹤技術，因此不再需要實體綠幕或動作捕捉套裝等特殊設備。直播主們首先在 TwitchCon 2019 體驗了這項技術，當時他們在展場使用 GeForce RTX 2080 GPU 上的AI加速綠幕測試 OBS 直播。
Maxine 的AI效果最初是在 RTX Voice 測試版中提供給 RTX 使用者，後來則在名為 NVIDIA Broadcast 的獨立應用程式中提供。
瞭解 NVIDIA Broadcast
NVIDIA Broadcast 提供AI功能，可改善各種使用案例的音訊和影片品質。不僅容易上手，更可在任何應用程式中使用，而且設定也很簡單。
相關功能包含：
- 雜音與回音消除：只需要按一下按鈕，AI即可消除來自麥克風和傳入音訊中的惱人背景雜音。
- 虛擬背景：不需要昂貴的設備或複雜的光線設定，即可使用背景移除、替換和模糊功能來自訂背景。
- 眼神交流：AI能讓直播主看起來像在直視鏡頭，即使他們不看鏡頭或做筆記時也是如此。
- 自動取景：即時動態追蹤動作，無論物體位於何處，都能自動裁切和縮放移動中的物體。
- 漸暈效果：AI會在攝影機影像的角落套用變暗效果，提供視覺對比，將觀眾的注意力吸引到影片中心位置並增添風格。
- 視訊雜訊消除：移除光線不足時的視覺雜訊，呈現更清晰的畫面。
NVIDIA Broadcast 透過在 Windows 中建立虛擬攝影機、麥克風或喇叭來運作，使用者只要設定好裝置一次，就能在任何直播、視訊會議或語音聊天應用程式中使用，包括 Discord、Google Meet、Microsoft Teams、OBS Studio、Slack 、Webex 和 Zoom。
擁有 NVIDIA GeForce RTX、TITAN RTX、NVIDIA RTX 或 Quadro RTX GPU 的使用者，可以使用 GPU 的專用 Tensor 核心，協助即時執行應用程式的AI網路。
採用相同AI技術的 NVIDIA Broadcast 也可作為軟體開發套件提供給應用程式開發人員使用。視聽技術公司 Elgato 在其 Wave Link 軟體中採用 Maxine 的AI音訊雜音消除技術，而熱門應用程式 VTube Studio (可用來將 3D 模型連接到網路攝影機以作為動畫角色進行串流) 則提供 RTX 加速模型追蹤器外掛程式免費下載。獨立開發者 Xaymar 在他的 VoiceFX 外掛程式中使用 NVIDIA Maxine。
內容創作者可以使用此外掛程式或 Elgato 的虛擬工作室技術 (VST) 過濾器，在 Adobe Premiere Pro 等影片編輯套件或 Ableton Live 和 Adobe Audition 等數位音訊工作站的後製處理中，清除錄製內容裡的雜音和回音。
聽見的不一定可信
NVIDIA Broadcast 自推出以來，已有數百萬人使用。
Twitch 名人兼直播主 Mr_Vudoo 表示：「我最常使用影片雜音消除和背景替換。眼神交流功能非常有趣，老實說，效果好到讓我大吃一驚。」
Unmesh Dinda 是 YouTube 頻道 PiXimperfect 的主持人，他在極端情境中示範 NVIDIA Broadcast 的降噪和回音消除AI功能。他讓電風扇直接對著麥克風轉動，再戴上頭盔並由他人狠狠敲打頭盔。即使背景中有如此吵雜的聲音，開啟 Broadcast 的雜音消除功能後，仍能清楚聽到 Dinda 的聲音。這部影片的觀看次數已超過 1200 萬次。
對於不斷成長的遠端工作勞動人口來說，NVIDIA Broadcast 也是非常實用的工具。在一篇文章中，Tom’s Hardware 總編輯 Avram Piltch 詳細介紹了他所進行的測試，針對吵雜的冷氣、正在修剪草坪的鄰居，甚至是揮舞著機器人、大發脾氣的小孩，測試這款應用程式的降噪功能。Broadcast 的AI音訊過濾器每次都表現亮眼：
Piltch 表示：「我讓 8 歲的孩子在我身後假裝大發脾氣，啟用雜音消除功能後，所有『我不想睡覺』的牢騷聲都消失了 (至少在錄音內容中)。為了使挑戰難度加倍，我們讓他拿著輪胎聲呼呼作響的機器汽車大吵大鬧。NVIDIA Broadcast 再一次移除了所有惱人的聲音。」
即使是與醫療專業人員進行視訊通話等日常情境，也能從 NVIDIA Broadcast 的AI背景移除功能中受益。
Today I was video calling my doctor and she complimented me on how good the background blurring on my webcam looked.
It caught me so off guard, I didn't know how to respond, so I just gave her a step by step tutorial on how to use NVIDIA Broadcast 😩
— Prismatic Ash (@_Ashdown) June 14, 2024
在任何支援 RTX 的桌上型電腦或筆記型電腦上免費下載 NVIDIA Broadcast。
生成式AI正在改變各種遊戲、視訊會議和互動式體驗。訂閱「AI解碼電子報」，瞭解最新消息與未來趨勢。