NVIDIA 於 SIGGRAPH 大會發表全新深度學習框架 fVDB，用於產生人工智慧（AI）就緒的真實世界虛擬代表。
fVDB 建立在 OpenVDB 這個模擬與渲染水、火、煙與雲等稀疏體積資料的業界標準函式庫之上。
在現實世界裡的自主車輛和機器人等生成式物理 AI 需要具備「空間智慧」，也就是理解並在 3D 空間中運作的能力。
我們都必須捕捉身邊環境裡的各種大小細節。但要將現實變成虛擬代表以訓練 AI，倒是一件十分困難的事。
我們可以透過神經輻射場（NeRF）、光達等許多不同的技術來收集現實環境的原始資料。fVDB 可以將這些資料轉變成即時渲染的大型 AI 就緒環境。
以 OpenVDB 標準十年來的創新為基礎，在 SIGGRAPH 大會上推出的 fVDB，代表各行各業如何從真實世界的數位孿生模型中獲益的一大躍進。
符合實際大小的虛擬環境可用於訓練自主代理。由無人機拍攝城市規模的 3D 模型，用於氣候科學與災害規畫。如今，3D 生成式 AI 甚至被用來規畫城市空間和智慧城市。
fVDB 可讓各行各業以更大的規模與更高的解析度利用空間智慧，讓物理 AI 變得更聰明。
該框架在 NanoVDB 之上構建了 NVIDIA 加速的 AI 運算子，NanoVDB 是一種用於高效 3D 模擬的 GPU 加速資料結構。這些運算子包括卷積、池化、注意力與網格劃分，全都是專為高效能 3D 深度學習應用所設計。
AI 運算子可讓企業為空間智慧建立複雜的神經網路，例如大規模點雲重建和 3D 生成式建模。
fVDB 是 NVIDIA 研究團隊的長期研究心血，目前已用於支援 NVIDIA Research、NVIDIA DRIVE 及 NVIDIA Omniverse 等專案，這些專案都需要使用逼真的大型複雜現實空間模型。
fVDB 的主要優勢
- 更大：空間尺度較過去的的框架大 4 倍
- 更快：較過去的框架快 5 倍
- 互通性：企業可以充分利用大量的現實環境資料集。fVDB 可將 VDB 資料集讀取到全尺寸 3D 環境。AI 就緒和即時渲染，以空間智慧建立物理 AI。
- 更強大：比過去的框架多出 10 倍的運算子。fVDB 結合過去需要多個深度學習函式庫的功能以簡化流程。
fVDB 很快就會作為 NVIDIA NIM 推論微服務來提供給外界使用。其中三項微服務能夠讓企業將 fVDB 納入 OpenUSD 工作流程，在用於工業數位化與生成式物理AI應用的開發平台 NVIDIA Omniverse 中產生 AI 就緒的 OpenUSD幾何圖形。它們是：
- fVDB Mesh Generation NIM：產生真實世界的數位 3D 環境
- fVDB NeRF-XL NIM：使用 Omniverse Cloud API 在 OpenUSD 中生成大規模 NeRF。
- fVDB Physics Super-Res NIM：執行超解析度技術產生基於 OpenUSD 的、高解析度的物理模擬。
在過去的十年裡，隸屬於 Academy Software Foundation 的 OpenVDB 作為視覺特效產業的核心技術，贏得了多座奧斯卡獎。自此之後，OpenVDB 的應用範圍已從娛樂業擴大到工業與科學領域，例如用於工業設計與機器人。
NVIDIA 持續強化開源 OpenVDB 函式庫。NVIDIA 在四年前推出 NanoVDB，為 OpenVDB 加入 GPU 支援能力。這實現了數量級的速度提升、更快的效能及開發更簡便，也打開了即時模擬與渲染的大門。
NVIDIA 於兩年前推出 NeuralVDB，在 NanoVDB 的基礎上建立機器學習，將 VDB 體積的記憶體佔用量壓縮高達 100 倍，讓創作者、開發人員和研究人員能夠與極大且複雜的資料集進行互動。
fVDB 在 NanoVDB 的基礎上建立 AI 運算子，以開啟符合現實規模的空間智慧。申請搶先試用計畫以取得 fVDB PyTorch 延伸項目。fVDB 也將在 OpenVDB GitHub 儲存庫中提供。
在這篇技術部落格中深入瞭解 fVDB，並且觀看 NVIDIA 創辦人暨執行長黃仁勳在 SIGGRAPH 大會的兩場爐邊對談中，說明加速運算與生成式 AI 如何改變產業，以及為創新與成長創造的新契機。
請閱讀關於軟體產品資訊的公告。