NVIDIA 利用全新開放式模型與模擬函式庫,加速機器人技術研發

> 由NVIDIA、Google DeepMind 和 Disney Research 共同開發的開源Newton 物理引擎現已在 NVIDIA Isaac Lab 推出,可協助研究人員與開發者打造功能更強且更具適應性的機器人。
> 全新 NVIDIA Isaac GR00T 開放式基礎模型,為機器人帶來類人推理能力,讓機器人運用既有知識與常識分解複雜的指示及執行任務。
> 全新 NVIDIA Cosmos 世界基礎模型可讓開發者生成各種資料,加速大規模訓練物理 AI 模型。
> 史丹佛大學、蘇黎世聯邦理工學院與新加坡國立大學等全球頂尖大學的研究人員,正運用 NVIDIA 加速運算與軟體推進機器人技術研究。
> Agility Robotics、Boston Dynamics、Disney Research、Figure AI、Franka Robotics、Hexagon、Skild AI、所羅門與達明機器人等各大機器人開發者,均採用 NVIDIA Isaac 與 Omniverse 技術。
作者 NVIDIA Corporation

2025 9 29 日,南韓首爾訊】NVIDIA 今日宣布,開源 Newton 物理引擎以及應用於機器人技能與全新 AI 基礎設施的開放式 NVIDIA Isaac GR00T N1.6 推理視覺語言動作模型,現已在 NVIDIA Isaac™ Lab 推出。這些技術共同為開發者與研究人員提供開放式、加速的機器人平台,可加速迭代、測試標準化、將訓練與機器人上推論統合,並協助機器人以安全可靠的方式,將技能從模擬環境轉移至現實世界。

NVIDIA Omniverse 與模擬技術副總裁 Rev Lebaredian 表示:「人形機器人是物理 AI 下一個前沿,必須具備在無法預測世界中推理、適應及安全行動的能力。透過這些最新更新,開發者現在有三部電腦可將研究中的機器人轉化為實際應用。Isaac GR00T能做為機器人的大腦、Newton 模擬機器人軀體,而 NVIDIA Omniverse 則為訓練環境。」

Newton 開創機器人技術物理模擬的全新標準
機器人在模擬環境中學習更加快速和安全,但人形機器人的關節、平衡與動作相當複雜,挑戰現今物理引擎的極限。全球逾 25 萬名機器人開發者需要準確的物理模擬能力,才能確保他們在模擬環境中指導機器人的技能,可以在現實世界中安全可靠的執行。

NVIDIA 今日宣布推出 Newton 測試版。Newton是由 Linux Foundation 管理的開源 GPU 加速物理引擎,建置於 NVIDIA WarpOpenUSD 框架上,由 Google DeepMind、Disney Research 與 NVIDIA 共同開發,現已開放使用。

Newton 設計靈活並可搭配不同類型的物理求解器,協助開發者模擬極其複雜的機器人動作,例如在雪地或礫石行走及拿放杯子與水果,並成功部署於現實世界。

Newton 的最新採用者包括蘇黎世聯邦理工學院 Robotic Systems Lab、慕尼黑工業大學與北京大學等知名研究實驗室與大學,以及機器人公司 Lightwheel 與模擬引擎公司 Style3D。

Cosmos Reason 為全新開放式 Isaac GR00T N1.6 模型改善機器人推理
人形機器人必須能理解模稜兩可的指示,並且因應大量前所未有的多樣化經驗,才能在物理世界執行各種類人任務。

開放式 Isaac GR00T N1.6 機器人基礎模型的最新版本即將在 Hugging Face 推出。此版本將整合 NVIDIA Cosmos™ Reason 這款專為物理 AI 打造的開放式可自訂推理視覺語言模型。Cosmos Reason 做為機器人深度思考的大腦,運用既有知識、常識與物理學,將模糊的指示轉化為逐步計畫,可因應新情境並在執行多種任務時舉一反三。

Cosmos Reason 下載次數已突破 100 萬,目前高居 Hugging Face 物理推理排行榜之首,也可為模型訓練彙整大量真實資料與合成資料集並加以註釋。Cosmos Reason 1 現以簡單易用的NVIDIA NIM™微服務提供,可部署於 AI 模型。

Isaac GR00T N1.6 現在可以讓人形機器人同時移動及拿取物件,讓軀體和手臂可更自由完成艱難的任務,例如打開沉重的門。

開發者可運用 Hugging Face 上的開源 NVIDIA 物理 AI 資料集,對 Isaac GR00T N 模型進行後訓練。此資料集下載次數已突破 480 萬次,目前包含成千上萬種合成與現實世界軌跡。

AeiROBOT、Franka Robotics、LG Electronics、Lightwheel、Mentee Robotics、Neura Robotics、所羅門、達明機器人與 UCR 等機器人領域領導製造商,正在評估運用 Isaac GR00T N 模型打造通用型機器人。

用於物理 AI 開發的全新 Cosmos 世界基礎模型
NVIDIA 宣布推出開放式 Cosmos WFM (世界基礎模型)全新更新。此模型被下載超過300 萬次,可讓開發者生成各種資料,利用文字、影像與影片提示,加速大規模訓練機器人模型。

  • 即將推出的 Cosmos Predict 2.5將三種 Cosmos WFM 的強大功能結合至單一強大模型,降低複雜度、節省時間並大幅提高效率。它支援更長的影片生成時間,最長可製作 30 秒的影片,以及多重視角攝影機輸出,實現更豐富的世界模擬。
  • 即將推出的 Cosmos Transfer 2.5 提供比前代模型更快也更高品質的結果,而且大小減少了5 倍。它能從具備真實標註的 3D 模擬場景,以及深度、影像分割、邊緣資訊與高解析度地圖等用於空間控制輸入內容,生成逼真的合成資料。

指導機器人抓取的全新工作流程
指導機器人抓取物體是機器人技術領域數一數二的難挑戰。抓取的動作不單單是移動手臂,還包括將思緒轉化為精確動作 ,是一個機器人必須透過試錯中習得的技能。

Isaac Lab 2.3 開發者預覽版中全新的靈巧抓取工作流程以 NVIDIA Omniverse™ 平台為建置基礎,運用自動化課程在虛擬世界訓練多指手臂機器人。它從簡單的任務開始,然後逐步提高複雜度。工作流程會調整重力、摩擦力與物體重量等層面,訓練機器人即使在無法預測的環境也能學習技能。

Boston Dynamics 的 Atlas 機器人運用這項工作流程學會抓取,大幅提升操作能力。

Agility Robotics、Boston Dynamics、Figure AI、Hexagon、Skild AI、所羅門與達明機器人各大機器人開發者,均採用 NVIDIA Isaac 與 Omniverse 技術。

在模擬環境中評估機器人習得的技能
幫助機器人掌握新技能,例如拿起杯子或在房間行走,是極其困難的過程,而且用物理機器人測試這些技能既緩慢又昂貴。

以模擬環境的方式進行可讓機器人對照無數情境、任務與環境測試所學技能,解決這類問題。然而,即使是在模擬環境,開發者打造的測試也往往流於片段簡化,無法反映現實世界。機器人若在完美簡單的模擬環境學習找方向,面對現實世界的複雜度時註定失敗。

NVIDIA 與 Lightwheel 正共同開發 Isaac Lab – Arena,這款可擴充實驗與標準化測試用的開源政策評估框架,讓開發者不必從頭打造系統,就能在模擬環境執行大規模複雜的評估。這款框架近期即將推出。

全新 NVIDIA AI 基礎設施讓各種機器人工作負載能隨地執行
NVIDIA 發表為最高工作負載設計的 AI 基礎設施,讓開發者能充分利用這些先進的技術與軟體函式庫,其中包括:

  • NVIDIA GB200 NVL72:這個整合 36 顆 NVIDIA Grace™ CPU 與 72 顆 NVIDIA Blackwell GPU的機架規模系統,可加速複雜的推理與物理 AI 任務等AI 訓練與推論,廣受各大雲端供應商採用。
  • NVIDIA RTX PRO™ 伺服器:提供適用於訓練、合成資料生成機器人學習模擬領域的各項機器人開發工作負載的單一架構。RTX PRO 伺服器已獲得 RAI Institute 採用。
  • NVIDIA Jetson Thor™ :由Blackwell GPU驅動,可讓機器人執行多個 AI 工作流程,實現即時智慧互動與即時機器人上推論,對於高效能物理 AI 工作負載與人形機器人技術應用而言是一大突破。Jetson Thor 已獲得Figure AI、Galbot、Google DeepMind、Mentee Robotics、Meta、Skild AI 和宇樹科技等合作夥伴採用。

NVIDIA 推動機器人技術研究
GPU、模擬框架與 CUDA 加速函式庫等 NVIDIA 技術,獲得 CoRL 收錄的近半數論文引用,並受卡內基梅隆大學華盛頓大學蘇黎世聯邦理工學院新加坡國立大學等頂尖研究實驗室與機構採用。

此外,由 Stanford Vision and Learning Lab 推出的機器人學習標竿專案BEHAVIOR ,和由北京大學開發用於推動視覺型觸覺機器人技術的高效能模擬平台的Taccel,亦為本次CoRL 亮點。

歡迎在 CoRL 深入瞭解 NVIDIA 的機器人技術研究成果,大會將於 9 月 27 日至 10 月 2 日在首爾舉行。

關於 NVIDIA

NVIDIA(輝達)為加速運算領域的先驅。

本新聞稿根據目前預期所做出的前瞻性聲明,包含但不限於:NVIDIA 產品、服務與技術的優勢、影響、效能與可用性;對 NVIDIA 第三方安排的期望,包括對其協作夥伴與合作夥伴的期望;對技術開發的期望;以及其他非歷史事實的前瞻性聲明,依據修訂後的 1933 年《證券法》第 27A 條,以及修訂後的 1934 年《證券交易法》第 21E 條規定,這些聲明係根據管理階層的信念與假設,以及管理階層目前可取得的資訊,並受這些條款所制定的「安全港」約束,同時面臨各種風險與不確定性,實際結果可能與預期落差極大。可能導致實際結果差異極大的重要因素包括:全球經濟狀況與政局;NVIDIA 對第三方製造、組裝、封裝與測試 NVIDIA 產品的依賴;技術發展與競爭的影響;新產品與技術開發,或是對 NVIDIA 現有產品與技術的改良;NVIDIA 產品或 NVIDIA 合作夥伴產品的市場接受度;設計、製造或軟體瑕疵;消費者喜好或需求變動;產業標準與介面改變;NVIDIA 的產品或技術整合至系統時,發生意外的效能損失;適用法律與法規改變,以及 NVIDIA 不定時向證券交易委員會(SEC)呈報之最新報告中詳述的其他因素,包括但不限於 Form 10-K 年度報告和 Form 10-Q 季度報告詳述的因素。向 SEC 呈報的報告複本已在公司網站發布,可以向 NVIDIA 免費索取。這些前瞻性聲明不保證未來效能,且僅反映本文發布日期的情況,而且除法律規定,NVIDIA 不承擔任何義務,無須為反映未來事件或情況而更新這些前瞻性聲明。

本文描述的產品與功能,多數仍處於不同階段,將視實際情況提供。上述聲明不構成、也不應被解釋為承諾、保證或法律義務,而且產品所述任何特點或功能的開發、發布與時程皆可能變動,由 NVIDIA 自行酌定。對於本文所述任何產品、特點或功能未能交付或延遲交付,NVIDIA 不承擔任何責任。

©本文為 NVIDIA 公司 2025版權所有,並保留所有權利。NVIDIA、NVIDIA 標誌、CUDA、NVIDIA Cosmos、NVIDIA Grace、NVIDIA Isaac、NVIDIA Jetson Thor、NVIDIA NIM、NVIDIA Omniverse和NVIDIA RTX PRO 是 NVIDIA 公司在美國及其他地區的商標及(或)註冊商標。所有其他公司及產品名稱乃為所屬個別公司之商標。功能、訂價、出貨時程和規格之變更不會另行通知。