NVIDIA 與 SMI 攜手打造提升 VR 畫質的革新渲染技術

作者 Crowd Favorite

主講人:NVIDIA 研究部門副總裁與 David Luebke NVIDIA 研究部門主任 Aaron Lefohn

在你的外圍視覺裡,少便是多。

NVIDIA 的研究團隊運用 SMI 最新的眼動追蹤技術,開發符合人眼生理學的新技術,以提高虛擬實境(VR)成像的逼真程度。

7月24-28日將於加州安那翰召開的 SIGGRAPH 電腦繪圖年會上,我們將播放一支簡單的演示內容。戴上內建整合式眼動追蹤技術的頭戴式顯示器,轉頭看看有著黑板和桌椅的虛擬教室場景,看起來很不錯,對吧?

現在盯著老師的椅子、關掉眼動追蹤功能,轉頭再看一次,此時只會詳細渲染繪製椅子的四周,你的四周景色則是以較粗糙的畫質進行渲染繪製,而你分辨不出其間的差異。

這項以感知為基礎的注視點渲染技術不只是吸引人的花招,而是會將運算資源用在最重要的地方,讓開發人員創作最具臨場感的虛擬環境。

NVIDIA 注視點渲染技術與眾不同之處

人的視覺可以想成分為兩個部分,即中央凹和外圍視覺。視網膜上一小塊稱為「中央凹」(fovea)的區域密佈著感光的錐狀細胞,提供清晰細膩的視覺;而周邊外圍視覺的視野較大,但較不敏銳。

無中央凹注視效果的影像。
無中央凹注視效果的影像。

這項敏銳度上的差異成為開發出注視點渲染系統的靈感,它會追蹤使用者的注視點,注視點以外的周邊採用較低的渲染畫質,以求提高繪圖表現。不過注視點渲染做得太過頭的話,會看出來顯著的人為痕跡,像是閃爍、模糊或「視野狹窄」感。

我們的研究團隊運用 SMI 的眼動追蹤原型頭戴式裝置(HMD),謹慎進行一項感知研究,想要找出哪些人在 VR 環境的外圍視覺裡到底看到了什麼。我們的研究團隊接著使用這些見解來設計新的渲染演算法,能在不注意到畫質變差的情況下,達到更佳的中央凹注視效果(或是減少渲染作業)

有模糊中央凹注視效果的影像。
有模糊中央凹注視效果的影像。

由 Anjul Patney、Joohwan Kim 及 Marco Salvi 領軍的 NVIDIA 研究團隊,發現現有的注視點渲染技術會在外圍視覺裡產生模糊或閃爍的情況,因此團隊致力於瞭解人類在外圍視覺裡挑選了哪些細節,像是顏色、對比、邊緣和動作。

舉例來說,他們發現傳統上渲染外圍視覺低解析度影像的方法,要是中央凹注視效果過於顯著,注視點外圍會出現讓人分心的閃爍畫面;他們也發現人眼外圍區域挑選的模糊影像會降低對比度,而生出視野狹窄的感覺。

有保留對比中央凹注視效果的影像
有保留對比中央凹注視效果的影像

然而他們在結合模糊和保留對比的情況下,發現使用者在看到注視點與非注視點影像間的差異前,對模糊的容忍度增加到兩次。

Patney 說:「那很重要,因為在使用 VR 的情況下,對幀率和解析度的要求更甚以往。」

眼動追蹤技術的潛在發展

要是沒有德國電腦視覺應用程式開發商 SMI 的鼎力支持,便無法成就出這段演示內容。該公司的技術以紅外線光包覆在每具頭戴式顯示器鏡頭邊緣的四周,而搭配 SMI 的軟體使得電腦能以無比的速度精準偵測人眼注視的方向。

注視點渲染技術只是 SMI 眼動追蹤 VR 技術的其中一個應用項目,還能用於個人顯示器校正、無障礙自然互動、社會臨場感和全新的分析見解。

瞭解更多

如需相關詳情,請至我們的專案網頁。請前往 SIGGRAPH 年會新興技術區的 NVIDIA 展位,便可親眼欣賞我們的演示內容,也別忘了通過 #SIGGRAPH2016 追蹤我們在 SIGGRAPH 年會的最新動態。