全新遊戲:NVIDIA Research 部門將人工智慧用於電腦圖形領域

作者 Aaron Lefohn

將遊戲畫面顯示在螢幕上的 GPU,可能很快就會有新的用途-發揮人工智慧的強大功能協助遊戲開發者和電影製作者加快工作速度、減少開支,創造出更豐富飽滿的使用體驗。

在本週的 SIGGRAPH 2017 大會裡,NVIDIA 展示了如何更輕鬆顯示逼真的人臉動畫效果、模擬光線如何與場景中的物體表面進行互動,還有更快地渲染出栩栩如生的圖像。

NVIDIA 在電腦圖形學方面擁有悠久的發展歷史,如今又將在人工智慧領域方面的長才兩相結合,推動遊戲、虛擬實境、電影及產品設計朝著 3D 立體圖形的方向發展。

放眼未來

遊戲工作室會為演員錄製遊戲角色和對話的影片,並據此製作動畫臉孔。他們借助軟體將影片變成演員的數位化身,再製作出動畫裡的臉孔。

現有的製作軟體往往得耗費數百個小時來修改數位化的臉孔,才能使它們更貼近真實演員的動作。這麼一來遊戲創作者不但要處理繁瑣的工作,工作室也得支出高昂費用,且在完成動畫後便難以修改。

要是能減少製作臉部動畫所需的工作量,遊戲創作者便能製作出更多對話和角色,還有靈活按照腳本變動快速進行修改和反覆運算。

 以《量子裂痕》(Quantum Break)、《江湖本色》(Max Payne)和《心靈殺手》(Alan Wake)等遊戲大作而聞名於世的 Remedy Entertainment,為了更輕鬆打造動畫裡逼真的數位化身臉部動畫且降低製作成本,選擇與 NVIDIA Research 合作。


研究團隊使用人工智慧,自動執行將真人演員的表演內容(左)變成電腦遊戲虛擬角色(右)的作業。

人工智慧遊戲角色臉孔

NVIDIA 的研究人員 Samuli Laine、Tero Karras、Timo Aila 及 Jaakko Lehtinen 利用 Remedy 的大量動畫資料為基礎,借助 NVIDIA GPU 和深度學習來訓練神經網路,能直接利用演員的影片製作出臉部動畫

NVIDIA 的解決方案只要五分鐘的訓練資料,無需進行累人的資料轉換作業,也無需長時間錄製演員的表演影片。經過訓練的神經網路能從簡單的串流影片裡,產生出整部遊戲所需的所有臉部動畫。NVIDIA 的人工智慧解決方案能夠製作出一致性更高的動畫,達到跟現有方法相同的真實程度。

研究團隊再接再厲,訓練系統僅需通過聲音便可產生出寫實的臉部動畫。遊戲工作室便可加入更多配角、即時創造出動畫化身,更輕鬆地製作出多語種遊戲。

邁向遊戲的新紀元

Remedy 的首席角色技術設計師 Antti Herva 表示,長期以來新的方法讓工作室能建立出更龐大豐富的遊戲世界,其中有著更多角色。Remedy 工作室如今已能使用遠遠少於過往所需的時間,創造出高品質的臉部動畫。

Herva表示:「按照我們在人工智慧製作出的臉部動畫裡見到 NVIDIA Research 的研究成果,覺得人工智慧將徹底改變內容創作的方式。原本我們可能得用上幾年的時間來製作《量子裂痕》裡數位化身複雜的臉部動畫,而在跟 NVIDIA 合作開發以影片和聲音驅動的深層神經網路來製作臉部動畫後,將大型項目的開發時間縮短八成,也讓設計人員能專心處理其他工作。」

利用人工智慧創作圖像

人工智慧也為 3D 圖形渲染作業帶來福音,有助於將數位世界變成在螢幕上看到的逼真圖像。製片人和設計師使用光線追蹤技術來模擬虛擬場景裡物體表面反射的光。NVIDIA 將使用人工智慧技術來改善光線追蹤和光柵化結果,這是電腦遊戲裡所使用的低成本渲染技術。

光線追蹤技術雖能產生極為寫實的圖像,為每張圖像模擬數百萬個虛擬光線卻代表著高昂的運算成本。部分計算出的圖像裡有著大量噪點,就像在昏暗環境裡拍出的照片一樣。

研究團隊利用深度學習技術搭配 GPU,從部分完成的結果中預測最終渲染出的圖像,以對圖像進行去噪。NVIDIA Research 部門實習生 Chakravarty R. Alla Chaitanya 來自麥基爾大學,由他帶領的研究團隊建造出一項人工智慧解決方案,與現有方法相比能在極短的時間內將噪點較多的圖像轉成高畫質的圖像。

這項研究案很快就會變成一款產品。NVIDIA 今日發佈的 NVIDIA OptiX 5.0 軟體開發套件是最新版本的光線追蹤引擎。加入 NVIDIA Research 人工智慧去噪技術的 OptiX 5.0,將於11月免費提供給已註冊的開發者。

人工智慧讓毛邊變順了

NVIDIA研究團隊利用人工智慧來解決電腦遊戲渲染作業裡的「抗鋸齒」問題。抗鋸齒是另一種去噪法,這裡的噪點是指部分渲染出的圖像出現鋸齒狀邊緣,也被稱為「鋸齒現象」,即出現樓梯般的線條,而非平滑的線條(見下圖中的左圖)。

NVIDIA 研究人員 Marco Salvi 和 Anjul Patney 訓練了一套神經網路來辨識這些偽影,用平滑的抗鋸齒圖像代替這些圖像。人工智慧技術產生出較現有演算法更清晰的圖像。


左圖顯示有著鋸齒邊緣和粗大格狀像素的疊影。NVIDIA 的人工智慧抗鋸齒演算法通過學習從疊影對映到抗鋸齒圖像的作法,產生出更大的圖像和右圖。圖片由 Epic Games 提供。

研究人員 Ken Daum 與 Alex Keller 借助機器學習來引導選擇光線路徑,將追蹤光線的演算法與人工智慧領域裡的強化學習概念兩相結合。

他們的解決方案學會區分是否為有助於創造圖像的「有用」光線路徑,即是否是最有可能將光線連接至虛擬攝影機的路徑。


在這個未經去噪的虛擬場景裡,僅從狹窄的門縫中透過一絲光線,想要模擬光線的反射情況成為一項高難度任務。NVIDIA 的人工智慧引導光線模擬技術減少所需的虛擬光線數量,將圖像合成速度提高十倍。

NVIDIA 在 SIGGRAPH 展現的人工智慧研究成果

週二開始請造訪我們在 SIGGRAPH 的展位(編號#403),還有參加 NVIDIA 在 SIGGRAPH 舉辦的多場人工智慧研究會議,瞭解人工智慧將如何改變電腦圖形領域的未來發展腳步。

81日週二

82日週三

83日週四

本文上方圖片出現在 NVIDIA 研究團隊於 SIGGRAPH 大會報告的論文中,他們使用人工智慧技術,將部分渲染好的圖像(左)變成最終圖像(右),以加快圖像合成的速度。