Imagination、The Mill 與 wrnch 使用有著 NVIDIA GPU 助力的渲染和人工智慧推斷功能,打造出一隻會與觀眾進行互動的數位美洲豹。
在今年的洛杉磯、巴黎及上海車展上,車子並非唯一會轟隆作響的東西。
奢華汽車製造商 Jaguar 架設了一具牆壁般大小的數位顯示器,螢幕中那隻實物般大小且會隨著觀眾的動作進行互動的美洲豹,透過形體和聲音讓觀眾們驚嘆不已。
Jaguar 希望透過一台顯示器,展現出該公司全新車款的反應能力,所以全球品牌體驗代理公司 Imagination 與來自倫敦的視覺效果工作室 The Mill,為 Jaguar 汽車製作出一款極為逼真的 3D 立體 logo,讓他們可以在參加全球各車展時使用。
The Mill 的團隊使用 NVIDIA Quadro GPU 即時渲染出美洲豹的身影,加上人工智慧無標記動作捕捉領域的領導者 wrnch 公司出手幫助下,將全新高度的互動性用在混合實境體驗上,讓觀眾看的目不暇給。
Quadro 展現出如貓一般的敏捷反應能力
這件合作案的目的,是打造一台人們可以跟它盡量自然進行互動的顯示器。再加上還要在不同車展使用這台螢幕,又需要一套簡單的系統,在無需使用多部電腦來操控多台螢幕的情況下,仍能提供強大的圖形效能。
在一台搭載 NVIDIA Quadro GPU 的 PC上使用 Unreal Engine 即時渲染出環境裡,從背景中的車款和樹木,再到逼真美洲豹身影的所有內容。
The Mill 的團隊利用 Quadro 的 NVIDIA Mosaic 功能,可以串連三台65吋 4K 顯示器和運行體驗內容,又能獲得所需的最高圖形效能。
The Mill 首席工程師 Martin Thelwell 說:「運行有著互動元素的即時體驗內容有其難度,NVIDIA Quadro 顯示卡提供我們所需的穩定性和圖形效能,得以建立一個完整即時的體驗環境。我們得知可以做到即時渲染出想要的精美視覺效果,這讓我們的士氣和信心大增。」下一步是讓美洲豹可以隨著觀眾進行回應,在兩者之間建立起關係。此時 The Mill 團隊與位在蒙特婁的人工智慧公司 wrnch 合作,在體驗內容中加入即時動作和手勢追蹤功能。
人工智慧將觀眾互動體驗帶向新的高度
wrnch 使用 wrnchAI 開發了美洲豹的視覺皮質,以協助美洲豹辨識觀眾的動作。wrnchAI 是一款高效能深度學習引擎,可以從輸入的影片內擷取出人類的動作。
顯示器的其中一台螢幕裝有一具架路攝影機,充當美洲豹的「眼睛」。人工智慧系統使用網路攝影機輸入的影片內容,擷取和轉化為觀眾的影像,以便美洲豹可以跟隨觀眾的動作。
人工智慧手勢辨識功能使得美洲豹可以觀察到有人接近及其位置,便能明確掌握視線方向和回應方式。
wrnch 使用 NVIDIA TensorRT 來訓練系統學習某些指令,其中包括鼓掌和舉起手臂這兩種獨特的手勢。每個手勢都會讓美洲豹產生特定反應,觀眾便能跟牠進行互動。
第二台搭載 NVIDIA 顯示卡的 PC 則是用於手勢追蹤,確保系統有自己的 GPU 和充足的運算能力,以獲得顯示器流暢顯示畫面所需的高效能和高幀率。
wrnch 執行長 Paul Kruszewski 說。「透過這個絕佳的例子,可以看到電腦圖形與人工智慧如何相互搭配,以產生出全新的混合實境體驗內容,這是互動式數位角色的未來走向。最厲害的地方便是人工智慧推斷與渲染都是在 NVIDIA GPU 上完成的。藉由如此精美的畫面,讓人們可以明白人工智慧的實力和潛力。」
在以下影片中介紹更多關於 Jaguar 車廠的這項合作案: