全新的 NVIDIA Maxine 雲端原生架構提供大規模開創性影音品質

搶先體驗提供頂級雲端通訊體驗的人工智慧微服務
作者 NVIDIA

最新發佈的 NVIDIA Maxine 為即時影音通訊開啟未來發展之路。無論是視訊會議、客戶服務中心通話或直播,Maxine 都能夠進行清晰的溝通以強化虛擬互動。

NVIDIA Maxine 是 GPU 加速的人工智慧軟體發展工具組 (SDK) 和雲端原生微服務套件,可部署最佳化和加速的人工智慧功能,即時強化音訊、影片和擴增實境 (AR) 效果。

有了 Maxine 最先進的模型,終端使用者不需要昂貴的設備來改善音訊和影片。使用 NVIDIA 人工智慧技術,就可以使用標準麥克風和攝影機設備達到這些高品質效果。

NVIDIA 在 GTC,發佈為雲端原生服務重新架構的 Maxine,以及 Maxine 音效微服務的搶先體驗版。此外,全新的 Maxine SDK 功能也已揭曉,包括對焦說話者與臉部表情預測,以及支援一般眼神交流功能。NVIDIA Maxine 現在也包含既有 SDK 功能的強化版本。

Maxine 成為雲端原生

Maxine 的雲端原生微服務讓開發人員能夠打造即時人工智慧應用程式。微服務可以獨立管理並於雲端流暢部署,加速開發時間軸。

搶先體驗版的音效微服務包含四種最先進的音訊功能:

  • 背景雜音消除:使用人工智慧模型移除數個常見的背景雜音,同時保留說話者的自然聲音。
  • 空間回音消除使用人工智慧模型移除音訊迴響,恢復說話者聲音清晰度。
  • 音訊超高解析度:透過增加音訊訊號的時間解析度來改善音訊品質。目前支援從 8 kHz 到 16 kHz 以及 16 kHz 到 48 kHz 的升級採樣。
  • 取消音效回音取消: 取消輸入音訊串流的即時音效裝置回音,消除不吻合的音效配對和含糊內容。有了人工智慧技術,消除功能比傳統數位訊號處理效果更好。

頂尖企業視訊會議與協作解決方案供應商 Pexip 利用 NVIDIA 人工智慧技術,透過適合現代勞動力的進階功能,將虛擬會議提升至全新境界。

Pexip 策略聯盟資深副總裁 Eddie Clifton 表示:「隨著 Maxine 轉向雲端原生微服務,將 NVIDIA 的先進人工智慧技術與我們獨特的伺服器端架構結合會變得更加容易。這讓 Pexip 的團隊能夠為虛擬會議提供更優異的體驗。」

註冊以搶先體驗

探索 SDK 強化功能

Maxine 提供「音訊」、「影片」和「擴增實境效果」三個 GPU 加速的 SDK,可透過人工智慧重塑即時通訊。

音訊效果 SDK 提供多效果、低延遲的人工智慧音訊品質強化演算法。對焦說話者功能於搶先體驗版中推出,這項功能可將前景與背景說話者的音軌分開,讓他們的聲音都更清晰可辨。此外, 音訊超解析度 SDK 功能的品質也進一步強化。

影片效果 SDK 使用標準網路攝影機輸入,營造人工智慧影片效果。虛擬背景功能可以分割個人的影像,並套用人工智慧背景移除、取代或模糊技術,此功能已更新,並加強時間穩定度。

擴增實境 SDK 也根據標準網路攝影機內容提供採用人工智慧的即時 3D 臉部追蹤和身體姿勢預測功能。最新功能包括:

  • 眼神交流:預估和調整視線與相機的接觸,模擬眼神交流。
  • 臉部表情預測:追蹤臉部並推論主體的表情。

以下擴增實境功能也已更新:

  • 身體姿勢預測:在 2D 和 3D 中預測和追蹤人體的 34 個關鍵點,現在支援多人追蹤功能。
  • 臉部指標追蹤:使用 126 個關鍵點辨識臉部特徵和輪廓。即時以三個自由度,追蹤因頭部動作和表情而產生的頭部姿勢和臉部變化,現在因為有「品質」模式,追蹤效果的品質更佳。
  • 臉部網格:使用包含多達 3,000 個頂點,和 6 個自由度的 3D 網格呈現人類臉部,現在包含南加大創新技術研究院 (USC Institute of Creative Technologies) 的 3D 可變形模型技術。

試用 Maxine SDK。若要直接體驗 Maxine 的效果,請下載 NVIDIA Broadcast 應用程式

透過人工智慧的強大功能,體驗最先進的效果

Maxine SDK 和微服務提供一系列低延遲人工智慧效果,可與現有的客戶基礎架構整合。開發人員可以利用 Maxine 的尖端人工智慧功能,因為這項技術以 NVIDIA 人工智慧平台為基礎,並具備世界級的預先訓練模型,讓使用者能夠建立、自訂和部署頂級音訊和影片品質功能。

Maxine 也屬於NVIDIA Omniverse Avatar Cloud Engine,這是一系列雲端人工智慧模型與微服務,支援開發人員打造、自訂與部署互動式虛擬角色。Maxine 可自訂的雲端原生微服務可獨立部署至人工智慧效果流程。Maxine 可部署在本機,在任何雲端或邊緣端。

觀看 NVIDIA 創辦人暨執行長黃仁勳的 GTC 主題演講,深入瞭解 NVIDIA Maxine 和其他技術突破: