動態影像:使用 NVIDIA Instant NeRF 將影像轉換成 3D 場景

瞭解 AI 研究專案如何協助藝術家和其他創作者以 2D 影像立即創造 3D 體驗。
作者 Jesse Clayton

編者按:這篇文章屬於「解碼 AI 」系列,該系列文章會以簡單易懂的方式解碼 AI,同時展示適用於 RTX PC 和工作站使用者的全新硬體、軟體、工具和加速功能。

想像一下濱海懸崖等壯麗景色。即使是 2D 影像,也是美麗又吸引人的場景。現在請您想像一下,不需要身處其中,也能以 3D 形式探索相同景色。

採用 NVIDIA RTX 技術的人工智慧(AI)可以將想像轉化為現實。創作者使用 Instant NeRF,即可在幾秒內將一系列靜態影像轉換成數位 3D 場景

閃耀奪目

NeRF 全名為神經輻射場,是一種AI模型,可將場景中的 2D 影像作為輸入內容,並在影像之間內插以渲染完整的 3D 場景。此模型複製大腦的組織方式,以神經網路形式運作,常用於需要模式辨識的工作。

NeRF 使用空間定位和立體渲染,並利用影像中的相機姿態來渲染場景的 3D 迭代。傳統上,這些模型是運算密集的作業,需要龐大的渲染能力和時間。

最近的 NVIDIA AI研究專案改變了這一點。

Instant NeRF 運用AI加速的反渲染模擬光線在現實世界中的行進方式,將 NeRF 提升至全新境界。研究人員因此能利用不同角度拍攝的 2D 影像建構 3D 場景。現在可以在數秒內產生場景,NeRF 模型的訓練時間越長,產生的 3D 渲染效果就越細緻。

在 2022 年的 SIGGRAPH 電腦繪圖技術大會上,NVIDIA 研究人員發布四種神經繪圖原語 (或稱預先訓練的資料集),作為 Instant-NGP 訓練工具組的一部分。這些工具讓任何人都能使用自己的資料建立 NeRF。研究人員因此獲得最佳論文獎《時代》雜誌也將 Instant NeRF 評選為 2022 年最佳發明

Instant NeRF 除了加快 NeRF 的渲染速度外,還能使用 NVIDIA RTX 和 GeForce RTX 桌上型和筆記型電腦 GPU,讓整個影像重建流程變得容易上手。雖然渲染場景所需的時間取決於資料集大小,以及影像與影片來源內容組合等因素,但AI訓練不需要伺服器級或雲端硬體。

NVIDIA RTX 工作站和 GeForce RTX PC 能滿足渲染 NeRF 的運算需求。NVIDIA RTX 和 GeForce RTX GPU 配備 Tensor 核心,這是專門的AI硬體加速器,可提供在本機執行生成式AI所需的強大效能。

就緒、設定並執行

開始使用 Instant NeRF,以全新方式瞭解輻射場並體驗影像。

開發者和技術愛好者可以下載原始程式碼庫進行編譯。非技術使用者可以在 GitHub 上下載 Instant-NGP 軟體的 Windows 安裝程式

雖然安裝程式適用於多種 RTX GPU,但此程式在最新架構的 GeForce RTX 40 系列NVIDIA RTX Ada Generation GPU 上具有最佳效能。

 

「Instant NeRF 入門」指南引導使用者完成整個過程,包括載入「NeRF Fox」原語,以瞭解其功能。如上所述的詳細說明和解說影片示範如何使用自訂資料建立 NeRF,包含擷取優質輸入影像和編譯程式碼基底 (若從原始碼建立) 的秘訣。本指南也涵蓋如何使用 Instant NeRF 圖形使用者介面、最佳化場景參數及從場景建立動畫。

NeRF 社群也提供許多秘訣和訣竅,協助使用者開始使用。例如,請查看觀看以下直播串流和本技術部落格文章

展示與講述

數位藝術家可以使用 NVIDIA Instant NeRF 創作絕美場景,訴說新穎的故事。Instant NeRF 圖片集展示一些最創新和發人深省的範例,您可以在任何網頁瀏覽器中觀看影片片段。

以下是幾項範例:

Karen X. Cheng 和 James Perlman 的「Through the Looking Glass」

鋼琴家跟往常一樣練習彈奏歌曲,然而接下來發生的事情相當特別。觀眾窺探鏡中世界,這是只能觀察但無法穿越的虛擬世界,無法透過一般方式進入。跨過門檻後,我們發現這面鏡子其實是一扇窗戶,進去後可以從內部探索顛倒的真實世界。不過,何者為真呢?

 

Franc Lucent 的「Meditation」

當他們進入 Nico Santucs 住所中眾多房間的其中一間時,Lucent 就知道必須將其變成 NeRF。畫面運用池塘中的動態範圍和倒影,向藝術家呈現未知的探索。他們對柔和的光線及 NeRF 將房間提升至夢幻般效果感到滿意,這裡是理想的冥想場所。NeRF 能以比相片或影片更令人身臨其境的方式定格瞬間

 

Hugues Bruyère 的《Zeus》

這些使用 Instant NeRF 渲染的 3D 場景,來自於 Bruyère 先前進行傳統攝影測量時透過無反光鏡數位相機、智慧型手機、360 度相機和無人機所擷取的資料。Instant NeRF 這項強大工具讓他可以透過線上圖書館、博物館、虛擬實境體驗和文物保護專案,協助保存和分享文物。這個 NeRF 是使用在皇家安大略博物館使用 iPhone 所拍攝的相片資料集進行訓練。 

從影像、影片到現實

運用AI將影像轉換成 3D 場景真的很酷。進入 3D 創作是全新境界。

透過最近的 Instant NeRF 更新,使用者可以從靜態影像渲染場景,並以虛擬方式進入環境,在 3D 空間中自由移動。在虛擬實境 (VR) 環境中,使用者只要戴上頭戴式裝置,就能完全沉浸在嶄新世界。

潛在優勢幾乎說也說不完。

例如,房地產經紀人可以建立並分享房產的 3D 模型,提供全新層次的虛擬導覽。零售商可以採用在 RTX GPU 上執行的一系列影像和AI技術,在網路商店中展示產品。這些AI模型能激發創意,並協助推動 3D 身臨其境體驗能為其他產業所提供。

Instant NeRF 具備在 VR 中輕鬆清理場景的功能,讓創作高品質 NeRF 變得比以往更加直覺。深入瞭解在 VR 中瀏覽 Instant NeRF 空間

下載 Instant-NGP 開始使用,並在社群媒體上標記 #InstantNeRF 來分享您的創作。

生成式AI正在改變各種遊戲、視訊會議和互動式體驗。訂閱「解碼 AI」電子報,瞭解最新消息與未來趨勢。