《愛爾蘭人》、《復仇者聯盟》,AI 視效如何讓今年奧斯卡提名電影大放異彩?

作者 Rick Champagne

本次奧斯卡最佳視覺效果獎提名電影中,有兩部都用到了一項新技術:AI 助力的視覺效果。
兩部奧斯卡最佳視覺效果獎提名影片,《愛爾蘭人》和《復仇者聯盟 4:終局之戰》均借助 AI 技術重新定義了人類演員和數位角色之邊界。 AI 技術在電影《愛爾蘭人》中為演員帶來了無痕減齡,又賦予《復仇者聯盟 4:終局之戰》中惡名昭彰的惡棍薩諾斯以生命。
在電影中具有開創性的 AI 技術背後是視覺特效工作室光影魔幻工業(Industrial Light&Magic)和 Digital Domain,它們採用了 NVIDIA Quadro RTX GPU 來加速製作流程。

AI 時光機

從第二次世界大戰到 2000 年的療養院, Netflix 出品的電影《愛爾蘭人》通過殺手弗蘭克·希蘭(Frank Sheeran)一生中不同時期的場景講述了一個震撼人心的故事。
但是電影中的三個主角,勞勃·狄尼洛(Robert DeNiro),阿爾·帕西諾(Al Pacino)和喬·佩西(Joe Pesci)都已經 70 多歲。化妝部無法自然地將演員通過妝容打造成20多歲和30多歲。導演馬丁·斯科塞斯(Martin Scorcese)反對使用常用的動態捕捉標記和其他干擾性設備實現對演員年齡的改變,因為這些設備會妨礙拍攝過程中的自然表演。
為了滿足這一需求,光影魔幻工業開發了一種全新的拍攝模式,即“三個攝影機”拍攝法捕捉演員的表演。導演攝影機及兩側的兩個紅外攝影機會同時用來記錄 3D 幾何形狀和紋理。此外,該團隊還開發了一個名為 ILM Facefinder 的軟體,該軟體借助 AI 篩選了演員們過去表演作品中的數千幅圖像。
該軟體可以找到與攝像機角度、取景框、照明和渲染場景表達相匹配的畫面,為光影魔幻工業的藝術家們提供了相關參考,從而實現與鏡頭中的每個畫面進行比較。這些視覺參考用來完善為每個演員創建的數位雙打,以將其轉換為電影中每個特定場景的目標年齡。
“ AI 和機器學習正成為我們在視覺特效中所做一切工作的一部分,”光影魔幻工業《愛爾蘭人》視效總監 Pablo Helman 表示, “NVIDIA Quadro RTX GPU 為了我們的生產流程提供了強大動力,這些技術使我們為未來十年能夠取得的成就充滿期待。”

打造視效驚人的反派

《復仇者聯盟 4:終局之戰》是有史以來票房最高的電影,其中包括2500多個視覺特效鏡頭。 Digital Domain 的視效團隊使用機器學習在數位版本上將演員喬許·布洛林(Josh Brolin)的表演動畫化,從而打造了電影中“壞出精彩”的大反派薩諾斯。
該團隊開發了一種名為 Masquerade 的機器學習系統,以對演員的表演和面部動作進行低解析度掃描,然後將其表情準確地轉移到薩諾斯面部的高解析度網格上。該技術為視效藝術家節省了時間,如果沒有這項技術,藝術家們則不得不耗費精力手工製作微妙的面部動作動畫,以生成逼真且栩栩如生的數位人。
Digital Domain 數位人類負責人 Darren Hendler 表示, “此過程的關鍵是人物情感表現的實時逼真渲染預覽,這可以藉助 NVIDIA GPU 技術實現。現在,我們採用 NVIDIA RTX 技術來驅動我們所有的實時光線追踪數位化人類項目。”

無處不在的 RTX:工作室、App 均採用 AI 加速的視覺效果

越來越多的視覺效果工作室和應用程式採用了 NVIDIA RTX GPU 加速的 AI 工具,光影魔幻工業和 Digital Domain 只是其中兩個。
在HBO的《神祐家族》電視劇中,男主角約翰·古德曼(John Goodman)看起來比他實際年齡年輕了 30 歲,這種減齡效果是通過 Shapeshifter 實現的。 Shapeshifter 是一款使用 AI 分析面部運動的自定義軟體,它能夠分析皮膚如何在肌肉和骨骼之上拉伸和移動。
視效工作室 Gradient Effects 借助 Shapeshifter 轉換演員的面部,在 NVIDIA GPU 的助力下,這一過程僅需耗時數周而不是數月。
AdobeAutodesk 以及 Blackmagic Design 等公司已經開發了 RTX 加速的應用程式,以應用 AI 解決其他視覺效果挑戰,包括實景場景深度填充、色彩調整、補光和修飾、速度扭曲運動預估以進行重定時和放大。

Netflix 為 AI 助力的預測開綠燈

除了大螢幕,諸如 Netflix 之類的串流媒體也在使用基於AI的推薦引擎,根據客戶的觀看歷史或相似性指數為客戶提供個性化的內容,該相似性指數可為觀看習慣相似的人推送相應內容。
Netflix 還會自定義電影快取縮圖以吸引個體用戶,並藉助 AI 在較低頻寬下優化串流質量。該公司採用 NVIDIA GPU 來加速其處理複雜數據模型的工作流程,從而實現快速迭代。

在 GTC 2020 發現更多精彩

頂級工作室包括盧卡斯影業 ILMxLAB、Magnopus 和 Digital Domain 將會亮相於 3 月 23 日- 26 日舉辦的 NVIDIA GTC 2020