數位虛擬人物的時代:突破創作逼真數位角色的極限

作者 NVIDIA

我們多年來一直追求推動建立數位虛擬人物。

數位虛擬人物過去已經廣泛應用於媒體和娛樂領域,從電玩角色到電影裡的 CGI 角色。不過建立數位虛擬人物是一件極為勞師動眾的事。需要有數百名藝術家、程式設計師和技術藝術家等各領域的專家參與。另外,要是這些數位虛擬人物太假,人們也會看的出來。我們對恐怖谷效應非常敏感,要是有什麼不對勁我們一定會知道。

NVIDIA 正在研究加速和簡化建立數位虛擬人物工具和方法,我們覺得人工智慧及模擬技術是實現這一點的關鍵。

何謂數位虛擬人物?

我們在虛擬世界中的數位形式便是數位虛擬人物的核心。從最早期的 3D 遊戲開始,《VR快打》是首批展示 3D 角色如何並肩作戰的遊戲之一。玩家現在則能體驗到熱門遊戲裡那些令人難忘的角色,如《戰神》及《最後生還者》。或許您能一眼認出熱門電影裡的數位虛擬人物,就像是《復仇者聯盟:終局之戰》裡的大反派薩諾斯,或是布萊德・彼特在電影《班傑明的奇幻旅程》裡扮演老年的自己。

娛樂領域也出現了新的應用場合,通過數位虛擬化身來說故事。Fable AIBaobab 等公司利用數位角色來建立互動式和虛擬故事。但我們要怎麼定義數位虛擬人物?我們可以用什麼標準來描述不同類型的數位虛擬人物?

我們通常會使用三種測量尺度或範圍來衡量數位虛擬人物:

  • 對比現實主義與風格主義
  • 對比即時與線下
  • 對比人工智慧與人類驅動
Graphic displays the breakdown of the digital human SDK: AI, generation, simulation, and rendering
1:建立數位虛擬人物的 SDK

將數位虛擬人物帶入生活

如同前述,建立數位虛擬人物的過程困難重重。打造數位虛擬人物分為三大組成部分,個別需要結合不同的藝術和技術:生成、動畫和智慧。

團隊必須先製作 3D 模型、紋理、著色器、骨骼,還有讓皮膚變形以便跟隨骨骼的形狀,才能建立出數位虛擬人物。

藝術家必須注意數位虛擬人物的物理元素,從身體和臉部,到頭髮和衣服,才能製作出動畫和動作。通常這要結合變形及模擬,才能讓這些部分正確運動。一直到現在為止,主要有兩種方法讓數位虛擬人物表現出逼真的動作;手動製作動畫,或是使用多種動作捕捉技術獲取運動資料。通常都要結合這兩者。

在這幾年裡,使用人工智慧生成或合成動畫的情況開始變多。藝術家們的角色現在不再顯著,通常處理特定類型的動作,不過這種情況也在迅速出現改變。

這些方法的底線都是按照環境脈絡來建立行為,讓人們相信數位虛擬人物的動作。要像真人一樣表現情感和行為仍然是個挑戰。人工智慧和模擬領域的新技術將有助於簡化這件事。

This graphic displays the quality of the human body and realism of skin on digital humans; it displays a sense of age and emotion in the skin that is rendered.
2:數位虛擬人物的皮膚

最後,藝術家必須為數位虛擬人物加上智慧,他們可通過雙向互動來做到這一點。利用 NVIDIA RivaEnsemble Health AIReplica 等人類語言處理和自然語音技術,數位虛擬人物可與真人進行對話。它們在虛擬世界和現實世界裡也能看得到東西。它們可辨識物體及穿梭環境。它們可看到對談的使用者,並且以相對應的方式進行查看和回應。

This graphic displays the multi-layer process of not only the facial exterior, but the muscles, cartilage, and more that makes the digital human so lifelike.
圖 3:數位虛擬人物臉部拆解

數位虛擬人物的重要性

數位虛擬人物早就應用於媒體和娛樂領域,對數位虛擬人物的其他使用需求倒是出現成長,且這股需求跨越各行各業。我們如今已經看到了數位虛擬人物的各項優點及潛在應用場合。

首先,將人工智慧數位助理用在醫療及零售等產業具有巨大潛力。對醫療專業人員來說,數位助理可協助改善訓練及程序。醫生可在逼真的模擬環境裡動手術,他們可進行上百次的模擬,以確保在實際動手術時獲得最佳效果。而將人工智慧數位助理用在零售業,可通過提供更個人化的體驗創造出絕佳的客戶服務結果。

his graphic displays a female AI digital assistant rendered in an anime style.
圖 4:女性人工智慧數位助理

人工智慧數位助理需要對口語交流有深刻的理解,才能讓這件事發揮最大的功效。這是協助人們更好的與數位助理進行互動和交談的關鍵,這樣他們才能完成自己需要進行的任務。

影片 1:動畫聊天機器人 Misty

對建築與製造等產業的其他公司來說,團隊可使用數位孿生技術來模擬從工廠、城市到建築物等大型環境中的工人和人員。在數位虛擬人物的協助下,公司可進行精確模擬來評估風險和預測環境,以確保設計出最佳的實體建築。

數位虛擬人物對智慧的需求不同於人工智慧數位助理。把數位虛擬人物放在虛擬環境內,它們必須知道如何像人一樣穿梭其中和進行各項動作,無論是工廠工人還是在摩天大樓中行走的遊客。

This graphic displays how a digital human may act within a digital twin factory floor; it is important that AI agents act real humans would in various environments
圖 5:工廠人工智慧代理

最後,數位虛擬人物將有助於改善生成合成資料。資料和訓練神經網路是人工智慧的本質。像 Synthesis AI微軟DataGenEpic GamesReallusion 這樣的公司早就開始著手捕捉和合成 3D 數位虛擬人體資料,以訓練人工智慧模型。但我們一直需要更多的資料,尤其是針對未來的需求。生成合成資料是發展人工智慧的關鍵,而數位虛擬人物生成合成資料一事,對擴大發展人工智慧來說十分重要。

影片 2:為 Omniverse 建立動畫數位虛擬人物
影片 3:Audio2Face:Metahumans 動畫

每個聲音都有一張臉

數位虛擬人物的前景如何?人們將發揮創意,利用一個被廣泛採用的數位虛擬人物世界。隨著我們在虛擬世界裡有著更多體驗,這一點會變得更顯著。

數位虛擬人物對虛擬世界體驗來說極為重要。其實每個人總有一天都會有自己的數位版本,無論是長的一模一樣,還是換上不同風格的化身。

我們推出 NVIDIA Omniverse,希望建立一個讓各類數位虛擬人物能共存的框架。3D 產業的全體業者均使用 Pixar 的通用場景描述(Universal Scene Description,USD)這個標準格式,每個人都能交換資料和一起交談。Omniverse 有助於推動朝向 USD 發展,這是使得不同應用程式及技術能溝通和協作,以建立數位虛擬人物的關鍵。

對擁有大量數位虛擬人物的大型世界,我們必須能擴大規模。要模擬能相互連接的大型世界且有著大量能即時互動的數位虛擬人物,在運算上並不容易。但 Omniverse 正在解決這個關卡:這個平台能助力發展大型世界和進行模擬。這對未來的實體及和虛擬世界來說是一大關鍵,在這兩個世界裡可擁有大量各種數位虛擬人物,它們可參與各項活動及進行互動。

真人與數位虛擬人物之間的關係長期下來將會變得密不可分。這將不只是在電腦上觀看這些受真人操縱的數位虛擬人物。最終,電腦將閱讀並與我們互動,就像我們在現實生活中所做的那樣。

我們將能與數位虛擬人物交談,甚至可通過數位虛擬人物訂購商品、食品、處方和其他物品,接著數位虛擬人物把有形的實際物體送到您手上。交流與互動將成為一個雙向的動作,這為自由與再創造提供了新的元素。

接下來呢?

歡迎關注 NVIDIA GTC 大會,瞭解未來數位虛擬人物的發展方向。歡迎觀看數位虛擬人物技術會議,看看專家們有什麼更深入的看法。並造訪 NVIDIA Omniverse 官方網站瞭解詳情並下載試用。