數百萬人已經使用生成式人工智慧（AI）來協助寫作和學習。現在，該技術還可以幫助他們更有效地駕馭物理世界。
NVIDIA 在SIGGRAPH 上宣布了生成式物理 AI 的進步，包括用於建立互動式視覺 AI 代理的 NVIDIA Metropolis 參考工作流程，以及將幫助開發者訓練物理機器並改善其處理複雜任務能力的新 NVIDIA NIM 微服務。
其中包括支援 NVIDIA 針對 3D 世界的全新深度學習框架的三個 fVDB NIM 微服務，以及用於與通用場景描述（OpenUSD）配合使用的 USD Code、USD Search和 USD 驗證 NIM 微服務。
NVIDIA OpenUSD NIM 微服務與全球首個由 NVIDIA 開發的 OpenUSD 生成式 AI 模型協同工作，使開發者能夠將生成式 AI copilots 和代理整合到 USD 工作流程中，擴大 3D 世界的可能性。
NVIDIA NIM 微服務改變物理 AI 版圖
物理 AI 使用先進的模擬和學習方法，幫助機器人和基礎設施更有效地感知、推理和導航其周圍環境。這項技術正在改變製造和醫療保健等產業，並透過機器人、工廠和倉庫技術、手術 AI 代理以及能更自主和精確運行的汽車來推進智慧空間。
NVIDIA 提供了一系列針對特定模型和產業領域客製化的 NIM 微服務。NVIDIA 為物理 AI 量身定製的 NIM 套件支持語音和翻譯、視覺和智慧以及逼真動畫和行為的功能。
透過 NVIDIA NIM 將視覺 AI 代理轉變為先知
視覺 AI 代理使用電腦視覺功能來感知和與物理世界互動並執行推理任務。
高度感知和互動的視覺AI代理由一種稱為視覺語言模型（VLM）的新型生成式 AI 模型驅動，該模型在物理 AI 工作負載中成為數位感知和現實世界互動的橋樑，以增強決策、準確性、互動性和效能。透過VLM，開發人員可以建立視覺 AI 代理，即使在複雜的環境中也能更有效地處理具有挑戰性的任務。
由生成式 AI 驅動的視覺 AI 代理正在快速部署到醫院、工廠、倉庫、零售商店、機場、交岔路口等多個領域。
為了幫助物理 AI 開發者更輕鬆地構建高效能的客製化視覺 AI 代理，NVIDIA 提供了 NIM 微服務和物理 AI 參考工作流程。NVIDIA Metropolis 參考工作流程提供了一種簡單且結構化的方法來客製化、構建和部署視覺 AI 代理。
NVIDIA NIM 幫助 K2K 讓巴勒莫更有效率、更安全
義大利巴勒莫（Palermo）的城市交通管理者使用 NVIDIA NIM 部署了視覺 AI 代理，發掘有助於能更好地管理道路的實體見解。
NVIDIA Metropolis 合作夥伴 K2K 正在主導這項工作，將 NVIDIA NIM 微服務和 VLM 整合到 AI 代理中，即時分析城市的即時交通攝影機。城市官員可以用自然語言向代理提問，並獲得有關街道活動的快速、準確的洞察以及如何改善城市營運的建議，例如調整紅綠燈時間。
全球領先的電子巨頭鴻海科技集團和和碩聯合採用了物理 AI、NIM 微服務和 Metropolis 參考工作流程，以更高效地設計和營運其大規模製造業務。
這些公司正透過模擬建造虛擬工廠，以節省大量時間和成本。他們還在數位孿生中對物理 AI 進行更徹底的測試和調整，包括 AI 多攝影機和視覺 AI 代理，在實際部署前提升工人安全並實現營運效率。
透過合成資料生成來彌合模擬與現實的差距
許多人工智慧驅動的企業現在正在採用「模擬優先」的方法來進行涉及現實世界工業自動化的生成物理 AI 專案。
製造、工廠物流和機器人公司需要管理複雜的人機互動、先進的設施和昂貴的設備。NVIDIA 物理 AI 軟體、工具和平台（包括物理 AI 和 VLM NIM 微服務、參考工作流程和fVDB）可以幫助他們簡化創建數位表現或是能準確模擬現實世界條件的虛擬環境所需的複雜工程。
VLM 因其能夠產生高度逼真的圖像而在各產業中得到廣泛採用。然而，由於創建準確的物理 AI 模型需要大量資料，因此訓練這些模型可能具有挑戰性。
使用電腦模擬從數位孿生產生的合成資料，為現實世界資料集提供了強大的替代方案，而獲取現實資料集進行模型訓練可能會很昂貴，有時甚至是不可能的，具體取決於使用案例。
NVIDIA NIM 微服務和 Omniverse Replicator 等工具可讓開發人員建立 AI 驅動的生成式合成資料管道，以加速建立用於訓練物理 AI 的強大且多樣化的資料集。這增強了 VLM 等模型的適應性和效能，使它們能夠更有效地跨產業和用例的被廣泛應用。
上市時間
開發人員可以在 ai.nvidia.com 上取得最先進、開放且由 NVIDIA 建置的基礎 AI 模型和 NIM 微服務。 Metropolis NIM 參考工作流程可在 GitHub 儲存庫中找到，Metropolis 微服務可在開發者預覽版中下載。
OpenUSD NIM 微服務可透過 NVIDIA API 目錄提供預覽版。
觀看 NVIDIA 執行長黃仁勳在 SIGGRAPH 上的爐邊對談，了解加速運算和生成式 AI 如何改變產業並為創新和成長創造新的機會。