編者按：本文為「解碼 AI 」系列文章，以深入淺出的方式解密AI，並介紹 RTX PC 的新硬體、軟體、工具與加速功能。
AI技術能強化內容的創作、發布與使用方式，徹底翻轉直播產業，但是整合技術卻面臨了不小的挑戰。
NVIDIA Holoscan for Media本週限量推出，這是一款支援AI的軟體定義平台，協助開發人員輕鬆地將AI整合至即時媒體應用程式，讓媒體公司在與AI相同的基礎架構上執行即時媒體管道。
NVIDIA RTX AI工作站與PC採用 NVIDIA GPU 技術，即時處理繪圖與AI運算，為開發這些應用程式奠定理想的基礎。
在阿姆斯特丹舉行的 IBC 廣播與媒體技術展上，Adobe、Blackmagic Design 與 Topaz Labs 等 NVIDIA 的合作夥伴將展示最新的 RTX AI影片編輯工具與技術，如何幫助即時媒體產業不斷進步。
NVIDIA Holoscan for Media：打造直播製作的未來
打造支援即時媒體應用程式開發的強大AI軟體堆疊，過程相當複雜，需要大量的專業知識與資源。
由於技術複雜，加上需要大量高品質的資料，將試用方案擴展至生產級效能也相當困難，這些計畫往往難以全面部署。此外，傳統的軟體開發受限於專用硬體，進一步侷限創新，使升級變得更為困難。
為了應對這些挑戰，NVIDIA Holoscan for Media 可與 NVIDIA 廣泛的AI軟體開發套件 (SDK) 流暢整合，以利開發人員為直播媒體輕鬆打造尖端AI應用程式。這可讓開發人員將先進的AI功能輕鬆整合至應用程式，進而將心力投注在打造更複雜且智慧的媒體應用程式。媒體公司隨後可將這些應用程式流暢地連結至在該平台運行的直播影片管道。
直播媒體應用程式開發所面臨的另一個典型挑戰是部署效率低落。無論是在On-Premises、雲端或邊緣，開發人員經常需要為不同部署類型各別打造不同的構建。這樣一來，成本就會增加，開發時間也會延長。開發人員還必須分配資源，建立額外的基礎架構服務，例如驗證與計時通訊協定，更進一步耗費預算。
Holoscan for Media 的雲端原生架構讓應用程式在任何地方都能執行。讓雲端、邊緣端或On-Premises部署開發的應用程式跨環境執行，無需另行構建。
Holoscan for Media 現已推出On-Premises版本，日後也將推出雲端與邊緣版本。此外，該平台也包括支援直播音訊與影片同步的精準時間通訊協定(Precision Time Protocol) ，以及使應用程式彼此順暢通訊的網路媒體開放規範(Networked Media Open Specifications)，簡化複雜系統的管理。
利用 RTX AI PC與工作站技術增強開發
NVIDIA RTX AI PC與工作站為開發沉浸式媒體體驗奠定堅實的基礎，充分發揮 Holoscan for Media 的潛能。
RTX AI PC和工作站提供的 CUDA 生態系統，能讓使用者存取各種針對媒體與AI工作負載最佳化的 NVIDIA SDK 與工具。如此一來，開發人員便能打造可從工作站順利轉移至部署環境的應用程式，確保他們的創作強大又可擴充。
NVIDIA AI Enterprise 提供進一步的增強功能，針對 NVIDIA GPU 最佳化的全方位AI軟體、工具和框架套件，讓企業開發人員能夠利用安全、穩定且可擴充的生產環境製作AI應用程式。這款企業級AI平台包含 TensorFlow、PyTorch 與 RAPIDS 等熱門框架，可實現簡化部署。
開發人員利用 NVIDIA AI Enterprise 技術，可直接在其媒體應用程式中打造先進的AI功能，例如電腦視覺、自然語言處理和推薦系統。他們亦可在媒體工作流程中，製作複雜的AI模型原型，以及進行測試和部署。
影片編輯人員與愛好者都會歡欣鼓舞！
Holoscan for Media 將於 9 月 13 日至 16 日在 IBC 展出。與會者可在 Dell Technologies 的 7.A45 攤位親身體驗示範，瞭解如何從應用程式開發順利轉移至現場部署。
眾多 NVIDIA 合作夥伴將在展覽中展示最新的 RTX AI驅動的影片編輯工具與技術。
Blackmagic Design 的 DaVinci Resolve 19 Studio 現已推出，提供可簡化編輯工作流程的人工智慧功能：
- IntelliTrack AI技術可在編輯過程快速且輕鬆地穩定影片。此技術可用於 DaVinci Resolve 的 Fairlight 工具，進而追蹤螢幕上的主題，在其橫跨 2D 和 3D 空間時自動產生音訊平移。編輯人員可利用AI驅動的功能，在立體聲場上快速平移或移動音訊，控制混音環境中多個角色的語音位置。
- UltraNR 是 DaVinci Resolve 空間雜訊抑制面板中，運用AI加速的去除雜訊模式。編輯人員能大幅降低畫面的數位雜訊 (不需要的顏色或亮度波動會掩蓋細節)，同時維持影像清晰度。 編輯人員還可將工具與時間雜訊抑制技術相結合，為動態影像提供更有效的降噪效果，因為其中的波動可能更明顯。
- RTX Video Super Resolution 採用AI技術，讓低解析度影片更清晰。此技術可以偵測及移除壓縮假影，大幅提升低品質影片的畫質。
- RTX Video HDR 採用AI增強的演算法，將標準動態範圍的影片重新對應至鮮活的 HDR10 色彩空間。即使影片編輯人員的相機無法以 HDR 格式錄製，也能創造高動態範圍的內容。
在 NVIDIA RTX PC與工作站上執行時，IntelliTrack 與 UltraNR 技術均能大幅提升效能。使用 NVIDIA TensorRT 可讓 GeForce GTX 4090 筆記型電腦的運行速度比 MacBook Pro M3 Max 快達 3 倍。
所有 DaVinci Resolve AI效果均透過採用 TensorRT 的 RTX GPU 加速。 Resolve 更新包括針對美容、邊緣偵測與水彩效果的 GPU 加速技術，將 NVIDIA GPU 的效能提升一倍。
此次更新還推出了 NVIDIA 的 H.265 超高畫質 (UHQ) 模式，利用 NVENC 將 HEVC 編碼效率提升 10%。
展現完美像素的合作夥伴：Topaz Video AI 與 Adobe After Effects
今年，Topaz Labs 推出適用於影片AI的 Adobe After Effects 外掛程式，這是支援影片升級與畫面插入技術的頂尖解決方案。該外掛程式將各種增強模型與畫面插入模型直接整合至符合業界標準的動畫軟體。
此外，使用者可在 After Effects 構圖時使用AI技術，提供更靈活且更快速的合成技術，無須在不同工具之間轉移大型檔案。
Topaz Video AI技術的一大特色，就是利用 Topaz 的 Apollo AI模型，產生戲劇化的慢動作影片，將影片轉換成高達 16 倍的慢動作。
這款外掛程式同樣擅長升頻，非常適合將低解析度素材整合至大型專案，且不會影響畫質。其中包括所有 Topaz 的增強模型，例如 Rhea 模型可支援 4 倍升級。查看 Adobe 的部落格，深入瞭解 After Effects 外掛程式及使用方法。
專為提供高速打造，此外掛程式經過採用 NVIDIA TensorRT 的 RTX GPU 加速，可將AI效能提升高達 70%。Video AI技術的未來更新能進一步提升 TensorRT 效能並最佳化效率，包括大幅減少安裝應用程式所需的AI模型檔案數量。
AI技術的迅速整合使直播產業的未來比以往更加光明、更具創新力。