【2025年8月11日,加拿大溫哥華訊】NVIDIA 今日發表全新的 NVIDIA Omniverse™ 函式庫與 NVIDIA Cosmos™ 世界基礎模型(WFM),加速開發及部署機器人解決方案。
該函式庫與模型採用全新的 NVIDIA RTX PRO™ 伺服器與 NVIDIA DGX™ Cloud,可讓開發者隨時隨地開發物理上精確的數位孿生、擷取真實世界並於模擬環境中重建、生成訓練物理 AI 模型用的合成資料,以及打造理解物理世界的 AI 代理。
NVIDIA Omniverse 與模擬技術部副總裁 Rev Lebaredian 表示:「電腦繪圖正與 AI 技術融合,徹底革新機器人技術領域。我們結合 AI 推理與符合物理定律的可擴充模擬技術,讓開發者能打造翻轉數兆美元產值的未來機器人與自駕車。」
全新的 NVIDIA Omniverse 函式庫推進世界合成應用發展
全新的 NVIDIA Omniverse 軟體開發套件(SDK)與函式庫現已推出,可用於打造及部署工業 AI 與機器人模擬應用。
- 全新Omniverse SDK 導入MuJoCo (MJCF) 與通用場景描述 (OpenUSD) 資料互通功能,讓 250,000 多名 MJCF 機器人學習開發者順利跨平台模擬機器人。
- 全新的 Omniverse NuRec 函式庫與 AI 模型採用 Omniverse RTX 光線追蹤的 3D Gaussian Splatting 渲染技術,可讓開發者使用感測器資料擷取真實世界,於 3D 環境重建及模擬。
- NVIDIA Isaac Sim™ 5.0 與 NVIDIA Isaac Lab 2.2 開源機器人模擬技術與學習框架現已在 GitHub 上架。Isaac Sim 現在包含 NuRec 神經渲染及全新基於的 OpenUSD 機器人技術和感測器架構,協助機器人開發者拉近模擬與現實的差距。
Omniverse NuRec 渲染技術現已整合至 CARLA;這款頂尖的開源模擬器廣受 150,000 多名開發者青睞。自駕車工具鏈領導者 Foretellix 正在整合 NuRec 、NVIDIA Omniverse Sensor RTX™與 Cosmos Transfer,以透過物理精準的情境提升其可擴充的合成資料生成能力。Voxel51 的視覺與多模態 AI 資料引擎 FiftyOne 支援 NuRec,可減輕重建時準備資料的重擔。FiftyOne 的使用者包括福特與保時捷。
Boston Dynamics、Figure AI、Hexagon、RAI Institute、Lightwheel 與 Skild AI 紛紛採用 Omniverse 函式庫、Isaac Sim 和 Isaac Lab,加速開發 AI 機器人技術。Amazon Devices & Services則使用上述技術驅動全新製造解決方案。
Cosmos 為機器人技術領域推動世界生成技術發展
Cosmos WFM 下載次數逾 200 萬,可讓開發者利用文字、影像與影片提示,生成大規模訓練機器人用的各種資料。
於 SIGGRAPH 發表的全新模型,生成合成資料的速度、準確性、語言支援和控制能力皆突飛猛進:
- Cosmos Transfer-2 現在簡化了提示流程,並且加速從真實 3D 模擬場景或是深度資料、影像分割、邊緣和高解析度地圖等空間控制輸入資料,生成逼真合成資料的過程。
- 蒸餾版 Cosmos Transfer 將 70 個步驟的蒸餾程序減化為單一步驟,因此開發者可以前所未有的速度在 NVIDIA RTX PRO 伺服器執行該模型。
Lightwheel、Moon Surgical 與 Skild AI 紛紛運用 Cosmos Transfer 大規模模擬各種條件,加速物理 AI 訓練。
Cosmos Reason 突破對世界的認知
OpenAI 的 CLIP 模型問世以來,視覺語言模型(VLM)徹底改變了物體與模式識別這類電腦視覺工作。然而,這類模型依舊無法解決多步驟工作,也無法處理模糊情況或新穎體驗。
NVIDIA Cosmos Reason 是適用於物理 AI 與機器人的全新開放式、可完全客製化,並具備70億個參數的推理視覺語言模型,讓機器人與視覺 AI 代理跟人類一樣,運用既有知識、物理概念與常識,在理解真實世界後採取行動。
Cosmos Reason 適用於機器人技術與物理 AI 應用,包括:
- 資料庋用與註釋可讓開發者將大量多樣化訓練資料集的高品質庋用與註釋工作自動化。
- 機器人規劃與推理技術猶如機器人視覺語言行動(VLA)模型的大腦,讓模型深思熟慮有條不紊做出決策。Cosmos Reason 讓機器人解讀環境、在收到複雜的指令後將指令分解為各種工作,而且即使在不熟悉的環境,也能運用常識執行這些工作。
- 影片分析 AI 代理建置在適用於影片搜尋和摘要的 NVIDIA Blueprint,不僅能擷取寶貴的深入解析,還能對大量影片資料執行根本原因分析。
NVIDIA 的機器人與 NVIDIA DRIVE™ 團隊正使用 Cosmos Reason 進行資料庋用與篩選、註釋及機器人視覺語言行動後期訓練。Uber 正利用該技術為自駕車訓練資料加上註釋和字幕。
Magna 採用 Cosmos Reason 開發其 City Delivery 平台。這個平台是全自動化、低成本的即時配送解決方案,可協助車輛更快速適應新城市。Cosmos Reason 為車輛的長期軌跡規劃器增添世界理解能力。VAST Data、Milestone Systems 與 Linker Vision 正採用 Cosmos Reason,將城市與工業環境交通監控、提高安全性與強化視覺檢查的工作自動化。
全新的 NVIDIA AI 基礎架構驅動各地機器人工作負載
NVIDIA 發表專為要求最苛刻工作負載設計的 AI 基礎架構,讓開發者能充分利用這些先進的技術與軟體函式庫。
- NVIDIA RTX PRO Blackwell 伺服器提供的單一架構,適用於訓練、合成資料生成、機器人學習與模擬領域的各項機器人開發工作負載。
- NVIDIA DGX Cloud 現已在 Microsoft Azure Marketplace 上架,為 Omniverse 開發者提供全託管平台,可簡化從雲端大規模串流基於OpenUSD 技術與 NVIDIA RTX™ 技術應用程式的過程,盡可能減少基礎架構協調與管理作業。率先採用該平台的業界領導者包括 Accenture 與 Hexagon。
加速開發者生態系
此外,為了協助機器人與物理 AI 開發者帶動採用 3D 與模擬技術,NVIDIA 還宣布:
- OpenUSD 課程與認證,以因應對於 USD 專業知識的需求,而且共襄盛舉的 AOUSD 成員包括 Adobe、Amazon Robotics、Synposys旗下Ansys、Autodesk、Pixar、PTC、Rockwell Automation、SideFX、Siemens、TCS與Trimble,以及Hexagon等業界領導者。
- Lightwheel 的開源合作案,旨在將機器人政策訓練和評估框架整合至 NVIDIA Isaac Lab,提供機器人操控與移動的平行強化學習訓練功能、基準測試,以及模擬現成可用的資產。
觀看 NVIDIA Research在SIGGRAPH的特別演講。
關於 NVIDIA(輝達)
NVIDIA(輝達)為加速運算領域的先驅。
NVIDIA前瞻性聲明
本新聞稿根據目前預期所做出的前瞻性聲明,包含但不限於:電腦繪圖與 AI 技術融合,徹底革新了機器人技術領域;NVIDIA 將 AI 推理與符合物理定律的可擴充模擬結合,讓開發者能打造翻轉數兆美元產值的未來機器人與自駕車;NVIDIA 產品、服務和技術的優勢、影響、效能與可用性;對 NVIDIA 第三方安排的期望,包括對其協作夥伴與合作夥伴的期望;對技術開發的期望;以及其他非歷史事實的前瞻性聲明,依據修訂後的 1933 年《證券法》第 27A 條,以及修訂後的 1934 年《證券交易法》第 21E 條規定,這些聲明係根據管理階層的信念與假設,以及管理階層目前可取得的資訊,並受這些條款所制定的「安全港」約束,同時面臨各種風險與不確定性,實際結果可能與預期落差極大。可能導致實際結果差異極大的重要因素包括:全球經濟狀況與政局;NVIDIA 對第三方製造、組裝、封裝與測試 NVIDIA 產品的依賴;技術發展與競爭的影響;新產品與技術開發,或是對 NVIDIA 現有產品與技術的改良;NVIDIA 產品或 NVIDIA 合作夥伴產品的市場接受度;設計、製造或軟體瑕疵;消費者喜好或需求變動;產業標準與介面改變;NVIDIA 的產品或技術整合至系統時,發生意外的效能損失;適用法律與法規改變,以及 NVIDIA 不定時向證券交易委員會 (SEC) 呈報之最新報告中詳述的其他因素,包括但不限於 Form 10-K 年度報告和 Form 10-Q 季度報告詳述的因素。向 SEC 呈報的報告複本已在公司網站發布,可以向 NVIDIA 免費索取。這些前瞻性聲明不保證未來效能,且僅反映本文發布日期的情況,而且除法律規定,NVIDIA 不承擔任何義務,無須為反映未來事件或情況而更新這些前瞻性聲明。
本文描述的產品與功能,多數仍處於不同階段,將視實際情況提供。上述聲明不構成、也不應被解釋為承諾、保證或法律義務,而且產品所述任何特點或功能的開發、發布與時程皆可能變動,由 NVIDIA 自行酌定。對於本文所述任何產品、特點或功能未能交付或延遲交付,NVIDIA 不承擔任何責任。
© 本文為NVIDIA 公司 2025版權所有,並保留所有權利。NVIDIA、NVIDIA 標誌、NVIDIA Cosmos、NVIDIA DGX、NVIDIA DRIVE、NVIDIA Isaac Sim、NVIDIA Omniverse、NVIDIA Omniverse Cloud Sensor RTX 與 NVIDIA RTX PRO 是NVIDIA 公司在美國及其他地區的商標及(或)註冊商標。所有其他公司及產品名稱乃為所屬個別公司之商標。功能、訂價、出貨時程和規格之變更不會另行通知。