NVIDIA 的 Turing 架構技術推動開發出全沉浸式的 VR 環境

作者 Zvi Greenstein

NVIDIA RTX 的即時光線追蹤、人工智慧及先進渲染技術,將 VR 帶向全新境界。

在過去的幾十年裡,VR 體驗已經跳脫科幻小說和研究實驗室,走向每個家庭和辦公室,不過就算是現今最佳的 VR 體驗也無法做到全沉浸式的環境。

NVIDIA 新發表的 Turing GPU 有望為創造出全沉浸式 VR 環境的目標邁進一大步。上週在 SIGGRAPH 及今日在 Gamescom 兩場活動宣布推出的 Turing 架構 GPU,結合了即時光線追蹤、人工智慧與全新渲染技術,將為 VR 環境創造出嶄新的臨場感和真實感。

即時光線追蹤

Turing 架構加上 RT Core,創造出極為寫實的視覺效果。這些處理器專門用於加快光線與環境中物體產生交互作用之位置的運算作業,首次在遊戲和應用程式達到即時光線追蹤的成果。

這些光學運算內容複製了光線的特性,創造出極為逼真的影像,讓 VR 開發人員更能模擬出真實環境。

Turing 架構的 RT Core 還能憑藉 NVIDIA VRWorks Audio SDK 來模擬聲音。當前的 VR 體驗會精準按照位置發出聲音,卻無法滿足運算方面的需求,無法適當反映環境的大小、形狀和材料特性,尤其是動態特性。

與前幾代產品相比,我們的 RTX 平台將 VRWorks Audio 的執行速度加快了六倍。其光線追蹤聲音技術可為虛擬環境即時創造出符合真實物理條件的逼真聲音影像。

我們在 SIGGRAPH 展示了將 VRWorks Audio 與 NVIDIA Holodeck 進行整合,展現在開發複雜虛擬環境時,這項技術如何製作出更為逼真的聲音,以及加快聲音製作的工作流程。

將人工智慧用於製作更為寫實的 VR 環境

使用 GPU 加速人工智慧而發展出的深度學習法,有可能解決 VR 領域裡部分在視覺和感知方面的最大難題。深度學習能夠進一步增強圖形、改善位置追蹤和眼動追蹤,還有讓角色動畫更栩栩如生。

Turing 架構的 Tensor Core 每秒可以進行500兆次的張量(Tensor)運算,加快推論速度,還能夠將人工智慧用於先進的渲染技術,使得虛擬環境的畫面更加逼真。

先進 VR 渲染技術

Turing 架構還具備多項全新渲染技術,可以提高 VR 的執行效能和視覺品質。

Variable Rate Shading(VRS,可變速率著色)將更多的著色能力用在場景裡有著精細細節的區域,在場景裡可感知細節較少的地方,則是減少著色力道,以呈現最佳的渲染結果。也就是使用「注視點渲染技術」(foveated rendering),減少場景外圍區域的著色率,使用者眼睛通常不會注意到場景的外圍,尤其是搭配眼動追蹤技術之際。

Multi-View Rendering多視點渲染技術)使得下一代頭戴式裝置能夠呈現超寬視野和傾斜畫面,用戶只會看到沒有邊框的虛擬畫面。Multi-View Rendering 技術是 Single Pass Stereo(單通道立體視覺)技術的下一代版本,可以將單一渲染通道的投影視圖數量增加四倍,這四個視圖如今都處於獨立位置,能夠沿著任何軸移動。分別渲染這四個投影視圖,便能為頭戴式裝置加快製作出有著極寬視野的斜面(非共面)畫面。

Turing 架構的 Multi-View Rendering 技術可以加快執行最多四個視圖的幾何處理作業。

輕鬆進行 VR 連線

Turing 是 NVIDIA 首款在硬體方面支援 USB Type-C 及 VirtualLink* 的 GPU 產品。VirtualLink 是一款全新的開放產業標準,通過一條輕盈的 USB-C 纜線將資料傳輸給下一代 VR 頭戴式裝置。

目前的 VR 頭戴式裝置有著十分複雜的設定方式,要用到多條笨重的纜線。VirtualLink 使用一條 USB 纜線來提供電源、畫面和資料,而龐大頻寬又能滿足未來頭戴式裝置的需求,簡化了 VR 設定作業。單一接頭讓輕薄的筆記型電腦這一類的小型裝置也能播放 VR 畫面,在這類小型裝置上通常只有一個小巧的 USB-C 接頭。

Dean Kamen presents Grace her Dean’s List award at FIRST Robotics Championship

上市時間

九月推出 VRWorks SDK 更新內容後,開發人員便可使用 VRWorks Variable Rate Shading、Multi-View Rendering 及 Audio SDK。

NVIDIA Turing 架構 Quadro RTX 及 GeForce RTX GPU 將於今年秋季上市,在 nvidia.com 官網販售,各大製造商和擴充卡合作夥伴也將推出相關產品。

*Turing 架構 GPU 已依據《VirtualLink Advance Overview》加入硬體支援能力,以針對新興的 VirtualLink 標準做足準備。如需更多 VirtualLink 相關資訊,請至 www.virtuallink.org