無比簡單:人工智慧新創公司讓 3D 動作捕捉作業變得輕而易舉

作者 Crowd Favorite
無比簡單:人工智慧新創公司讓 3D 動作捕捉作業變得輕而易舉

動畫人物得先動起來,才能顯得活靈活現,然而想讓虛擬角色動起來並非易事。

動作捕捉技術記錄並以數位化的方式複製人體運動,以建立 3D 動畫。想想電影《魔戒》系列裡由演員 Andy Serkis 所扮演的咕嚕,便可明白一二。

難題在於傳統的動作捕捉技術要用到大量昂貴又笨重的硬體,需要熟練的專業人員操作多具攝影機、專用的攝影棚環境,演員還得穿上特殊的感應器服裝。

「這些費用、技術和時間都讓人望而卻步。」RADiCAL 共同創辦人暨執行長 Gavan Gravesen 說。顧名思義,位於紐約且為 NVIDIA Inception 新創公司計畫成員的 RADiCAL 打破了這項慣例。他說:「我們致力以低成本的方式提供通用性、無縫整合和速度。」

該公司的人工智慧解決方案搭配 NVIDIA GPU,只要求遊戲開發商、3D 圖形藝術家、電影製作人員和 AR/VR 迷擁有一個實體裝置,即一具 2D 相機,就算是一具手機也行,無需使用其它硬體、攝影棚或精密的感應器裝置,此舉大幅降低了相關成本與工作量。

快速捕捉動作

全球各地的用戶都能使用智慧型手機或網路,直接將影片上傳到 RADiCAL 的雲端空間。該公司使用人工智慧和運動科學來處理影片,以檢測其中的內容、在 3D 空間裡重現人類動作,甚至重建攝影機看不到的東西。

演算法會自動配合不同的人體比例及人體動作,並且建立一個動作與影片主體一模一樣的 3D 立體模型。雖然模型流暢的動作讓過程看起來很簡單,但其實並非如此。

「我們整合了深度學習、機器人技術、電腦視覺與生物力學,這需要搭配強大的人工智慧開發環境。」RADiCAL 共同創辦人暨技術長 Anna-Chiara Bellini 說。NVIDIA GPU 的運算能力促成了落實此一目標。

使用 TensorFlow 與 CUDA 迅速進行迭代運算

Bellini 表示在開發人工智慧時,RADiCAL 面臨的第一個難題便是需要處理的大量資料。像是為了開發演算法,單張靜態影像可能需要分析多達 6GB 的資料。但是每一秒的動作裡有120個畫面,產生出 720GB 的驚人資料量。

Bellini 跟她的團隊選擇使用 TensorFlow,將 GPU 編程納入其研究過程,為整個管道提供「單一執行模型」。「使用以 CUDA 編寫的特定核心來搭配 TensorFlow,讓我們只要幾小時就能寫出簡單的核心,將模擬時間縮短好幾天。」她說。

RADiCAL 在多 GPU 系統上以交錯方式處理多個畫幀,以支援其運動模型。「最新一代的 NVIDIA NVLink、支援多個 Tesla V100 GPU 等技術,讓我們能做到這些事。」Bellini 說。

Bellini 與她的團隊使用位於雲端的多 GPU 機器,將從構思、部署到生產的開發週期時間縮短了十倍。

她說:「NVIDIA GPU 可以讓我們能加快工作速度、探索更多選擇,更有效地利用機器學習工程師的時間。這算是一項意外的發現。」

隨時可用的動畫檔案

處理好影片後,RADiCAL 藉由其網站和 MOTiON app,讓用戶能即時將產生出的 3D 立體畫面跟實際影片片段並排呈現,以進行預覽。

用戶還可以下載適用於 3D 動畫、擴增實境、虛擬實境、遊戲引擎及其它 3D 圖形程式,還有內容頻道等工作格式的動畫檔案。

RADiCAL 日前為創意產業的早期使用者開放了一項公開測試計畫,並且打算在數週內全面進行商業上市活動。

RADiCAL 是全球近2,800間已加入 Inception 計畫的新創公司之一。NVIDIA 藉由這項計畫協助新創公司獲得技術、專業知識與市場支持,加快創業速度。