在本週的《In the NVIDIA Studio》中,一探全新專業 GPU、人工智慧工具、Omniverse 與 OpenUSD 協作功能如何推動創作精彩內容

作者 NVIDIA Corporation

人工智慧與加速運算是全球最大電腦繪圖專家聚會 SIGGRAPH 年度大會的焦點,而 NVIDIA 創辦人暨執行長黃仁勳在 SIGGRAPH 大會主題演講中,宣布用於建立及連接 3D 工具與應用程式的 NVIDIA Omniverse 平台,以及 3D 世界開放式且具擴展性生態系統的加速通用場景描述(又稱 OpenUSD),將推出重大更新項目。

NVIDIA 此前宣布與 Pixar、Adobe、Apple 及 Autodesk 共同成立 OpenUSD 聯盟(Alliance for OpenUSD)。這象徵著,藉由確保各行各業進行數位化所需的 3D 工具和內容的相容性,加快了通往下一個 3D 繪圖、設計和模擬時代的速度。

NVIDIA 推出三款全新桌上型工作站 Ada 世代 GPU – NVIDIA RTX 5000RTX 4500RTX 4000,為全球專業人士提供最新的人工智慧、繪圖和即時渲染技術。

Shutterstock 透過建立視覺生成式人工智慧模型的雲端代工廠 NVIDIA Picasso 來訓練基礎模型,將生成式人工智慧用於製作 3D 場景的背景。現在可以使用 Picasso 訓練出的模型,產生逼真寫實的 8K 畫質、360 度高動態範圍成像(HDRi)環境貼圖,加快開發場景的速度。Autodesk 也將把運用Picasso 基礎模型開發出的生成式人工智慧內容創作服務,與旗下熱門的 Autodesk Maya 軟體進行整合。

每個月發布的 NVIDIA Studio 驅動程式為藝術家、創作者和 3D 開發人員在使用創意應用程式時提供最佳的效能和可靠性。今天開放下載的八月號讓創作者在操作常用的創意應用程式時可以享受到最高的可靠性,最新NVIDIA Studio 驅動程式支援 Omniverse、XSplit Broadcaster 和 Reallusion iClone 的更新項目。

此外,本週《In the NVIDIA Studio》將由特邀藝術家 Andrew Averkin 展示他在製作《Natural Coffee》這件作品的過程中,如何利用人工智慧來為自己烹煮出一杯美味的咖啡。

Omniverse 擴大規模

Omniverse 迎來重大升級,為平台帶來新的連接器和增強功能。

這些更新項目展現在無論創作者、企業和開發人員可以複製、擴展或增強的完全可自訂參考應用程式 — Omniverse 基礎應用程式。

升級後的 Omniverse 應用程式加入 Omniverse USD Composer,讓 3D 用戶可以用來組裝基於 OpenUSD 製作出的大型場景。提供生成式人工智慧應用程式介面的 Omniverse Audio2Face,只需要一個聲音檔就能製作出逼真的臉部動畫和手勢,現在又加入支援多種語言和新的女性基礎模型。

本次更新提高了執行效率,為用戶提供更優秀的體驗。新的渲染最佳化項目徹底運用 NVIDIA RTX GPU 中的 NVIDIA Ada Lovelace 架構增強功能,將 DLSS 3 技術完全整合到 Omniverse RTX 渲染器內。此外,新款人工智慧降噪器還能即時進行 4K 畫質路徑追蹤,以製作大規模的工業場景。

新的應用程式和體驗範本讓開發人員在使用 OpenUSD 和 Omniverse 的過程中,只需進行少量的編碼工作,就能輕鬆上手。

NVIDIA 新推出用於存取、共享和管理 Omniverse 擴充項目的 Omniverse Kit Extension Registry 中央儲存庫,讓開發人員可以輕鬆在其應用程式中開關功能、更輕鬆地運用 NVIDIA 提供的 500 多個核心 Omniverse 擴充項目來建立專屬的應用程式。

新的延展實境開發工具讓用戶能夠在 Omniverse為基礎的應用程式中,以原生方式建立空間運算選項,使用戶可以靈活地按照自己喜歡的方式體驗 3D 項目和虛擬世界。

Adobe 與 NVIDIA 宣布擴大雙方在 Adobe Substance 3D、生成式人工智慧和 OpenUSD方面的合作,雙方計畫將 Adobe 的創意生成式人工智慧模型系列 Adobe Firefly將以API的形式加入 Omniverse,供增強開發人員和創作者的設計創作流程。

開發人員與工業領域的企業現在有了新的基礎應用程式和服務,可以運用 OpenUSD 框架和生成式人工智慧最佳化和增強 3D 製作管道。

工作室專業人員可以將生成式人工智慧跟他們的工作流程進行串聯,加速從建立環境、角色動畫到場景設置等整個專案項目的進度。Omniverse 透過 Kit AI Agent、OpenUSD Connector 和擴充項目功能來提示最重要的生成式人工智慧工具和 API,可以將最終結果集中在統一的視窗裡,縮短從構思到創作的時間。

RTX:下一個世代

新款 NVIDIA RTX 5000、RTX 4500 及 RTX 4000 專業桌上型 GPU 採用包括 DLSS 3 在內的最新 NVIDIA Ada Lovelace 架構技術,可在 Unreal Engine 等 3D 應用程式中做到更流暢的渲染和即時互動。

這些工作站等級的 GPU 搭載第三代 RT 核心,具備較前代產品高兩倍的處理能力,讓用戶能夠即時處理更龐大逼真的影像,有助於藝術家和設計師維持流暢的創作流程。

第四代 Tensor 核心的人工智慧運算效能最高可達前一代產品的兩倍,適用於訓練和開發人工智慧,以及處理推論和生成式人工智慧的作業負載。更大的 GPU 記憶體可運用最新的生成式人工智慧工具和應用程式,開創人工智慧擴增的多應用程式工作流程。

Ada GPU 架構讓這些新款 GPU 的視訊編解碼能力最高達前一代產品的兩倍,並且支援 AV1 格式編解碼能力。這些功能加上新一代的人工智慧運算效能,讓新款專業 GPU 成為創作者的理想選擇,利於在如 Adobe Premiere 和 DaVinci Resolve 等人工智慧擴增影片剪輯應用軟體中,進行高解析度內容的多串流影片剪輯工作流程。

這些新款 GPU 專為需要大型模型和資料集的高階創意、多應用程式專業工作流程而設計,提供大容量 GDDR6 記憶體:RTX 4000 搭載 20GB 的記憶體、RTX 4500 搭載 24GB 的記憶體,RTX 5000 搭載 32GB 的記憶體 – 全都支援更正錯誤碼功能,可執行無錯誤運算。

現代畢卡索

3D 藝術家常面臨著一項難題,那就是運用藝術手法將英雄資產與道具、材料、背景和燈光混合在一起,創作出栩栩如生的場景畫面。生成式人工智慧技術可以產生出場景背景等輔助資產,以簡化這個工作流程。

Shutterstock 在 SIGGRAPH 大會期間宣布使用 NVIDIA Picasso 來訓練生成式人工智慧模型,使用 Shutterstock 的責任授權影像庫建立出的這個模型,可以創作出栩栩如生的 360 HDRi 環境地圖。

過去藝術家需要使用昂貴的 360 度攝影機,從頭開始建立背景和環境地圖,或者從可能無法精確配合其 3D 場景的固定選項中進行選擇。現在只要使用簡單的提示,或使用他們想要的背景作為參考,Shutterstock 的生成式人工智慧功能將快速產生出客製化的 360 度、8K 解析度、HDRi 環境地圖,藝術家可以使用這些地圖來設置背景和照亮場景,如此一來就有更多時間處理英雄 3D 資產,也就是觀者在 3D 場景中會關注的主要資產。

Autodesk 也宣布將把使用 NVIDIA Picasso 基礎模型開發出的生成式人工智慧內容創作服務,與旗下熱門的 3D 軟體 Autodesk Maya 進行整合。

八月號的 Studio 驅動程式

在八月號的 Studio 驅動程式中都將支援以下更新項目,包括最新版本的 XSplit Broadcaster,這款熱門的串流媒體軟體可供使用者以串流方式將媒體同時播放到多個平台。

XSplit Broadcaster 4.5 如今也支援 NVIDIA Encoder(NVENC)AV1,GeForce 和 NVIDIA RTX 40 系列 GPU 的用戶能夠以每秒 60 個畫格、4K 高畫質的格式,直接以串流播放的方式傳輸到 YouTube Live 平台,大幅提高影片品質。

使用 RTX GPU 以 AV1 格式進行串流播放的效率比 H.264 高出 40%,可減少直播串流的頻寬要求或降低高畫質本地擷取的檔案大小。

Reallusion iClone Omniverse Connector 的更新項目加入專案即時同步等新功能,以及更強大的 OpenUSD 匯入功能,這使得 iClone 和 Omniverse 之間的工作變得更加快速、流暢和高效。

製作精美的藝術品

在創意領域擁超過 15 年的從業經驗,他一路上不斷融合藝術與科技,將生動的想像力化為現實,從中找到無窮樂趣。

在他的作品《Natural Coffee》中,從前在一間熙熙攘攘的辦公室裡,有一杯「天然咖啡」以其傳奇功效而聞名,它讓藝術家們勇於大膽發揮創意、在各方面提高工作效率,甚至還能提供神奇的音樂療法。

Averkin 使用 Midjourney,透過簡單的文字提示快速產生出高畫質影像,讓他發揮各種視覺創意。在創意工作流程的開始階段運用人工智慧對影像進行腦力激盪,正成為整個產業的主流做法。

Averkin 在拿到視覺影像基礎後,便能從網路商店取得 3D 資產,並快速建立場景的 3D 草圖,利用簡單的 3D 形狀建立一個沒有細節或精緻細節的粗略草圖,以加快製作進度。

Averkin 接著使用 Autodesk 3ds Max 對單一資產進行潤飾,為模型刻畫出各種細節,測試並加上不同的紋理和材質。他的 GeForce RTX 4090 GPU 使用預設的 Autodesk Arnold 渲染器,開啟 RTX 加速的人工智慧降噪功能,以互動方式來建立 3D 模型,這對建構場景有莫大益處。

Averkin 說:「品質、速度和安全性,是我選擇使用 GeForce RTX 顯示卡的原因。」

Averkin 使用 Autodesk 3ds Max Connector,將《Natural Coffee》匯出到 NVIDIA Omniverse USD Composer 應用程式。他說:「我在 USD Composer 裡加入更多細節,大量使用了內建的材質集合,還加上了大量的照明,讓整個構圖看起來更加真實。」

USD Composer 的最大優勢之一,便是可以即時查看以逼真的光線、陰影、紋理等內容即時渲染出的場景,如此一來大幅改進了編輯大量 3D 場景的過程,讓使用者能夠更快速、更簡單地進行作業,Averkin 甚至還能加入攝影機鏡頭飛行空拍畫面,讓場景變得更加精美。

最後一步是在 Adobe Photoshop 中再進行潤色,Averkin 可以選擇超過 30 項豐富的 GPU 加速功能,玩轉色彩和對比度,流暢並快速地對影像進行最終調整。

Averkin 鼓勵資深 3D 藝術家嘗試使用 OpenUSD 框架:「我在處理 NVIDIA 的工作還有自己的案子時經常使用它,OpenUSD 非常強大,它有助於以非破壞性的方式在多個創意應用程式中進行創作,其他強大功能也讓整個過程變得更加輕鬆靈活。」

ArtStation 上查看 Averkin 的作品。

歡迎在 InstagramTwitterFacebook 上追蹤 NVIDIA Studio。 在 Studio YouTube 頻道有提供許多教學內容,也別忘了訂閱 Studio 電子報,便能第一手取得最新動態。