NVIDIA 推出 Cosmos 世界基礎模型平台，加速開發實體AI

• 針對 NVIDIA 資料中心 GPU 最佳化的全新先進模型、視訊標記器與加速資料處理管道，專為開發機器人與自駕車而建造
• 第一波開放模型現已提供給開發人員社群使用
• 全球實體 AI 領導廠商 1X、思靈機器人、Agility、Figure AI、Foretellix、Uber、Waabi、Wayve 和小鵬汽車率先採用

NVIDIA 今日宣布推出  NVIDIA Cosmos™ 平台，在這個平台裡包含最先進的生成世界基礎模型、先進的標記器、防護機制和加速視頻處理管道，用於推動自駕車和機器人等實體人工智慧（AI）系統的發展。

實體 AI 模型開發成本高昂，需要大量的真實世界資料和測試。Cosmos 世界基礎模型（WFM）讓開發人員能夠方便產生大量逼真又符合物理原則的合成資料，以訓練和評估其現有模型。開發人員也可以微調 Cosmos WFM 來自訂模型。

將以開放模型授權的方式提供 Cosmos 模型，以加速推動機器人及自駕車社群的發展。開發人員可以在 NVIDIA API 目錄上預覽第一批模型，或是從 NVIDIA NGC™ 目錄或 Hugging Face 下載模型系列和微調框架。

各大機器人與汽車公司，包括1X、思靈機器人（Agile Robots）、Agility、Figure AI、Foretellix、Fourier、Galbot、Hillbot、IntBot、Neura Robotics、Skild AI、Virtual Incision、Waabi、小鵬汽車（XPENG），以及乘車服務巨擘 Uber，都是首批採用 Cosmos 模型的公司。

「機器人的 ChatGPT 時刻即將到來。就像大型語言模型一樣，世界基礎模型是推動機器人和自駕車發展的基礎，卻又不是所有開發人員都擁有專業知識和資源來訓練自己的模型。」NVIDIA 創辦人暨執行長黃仁勳表示。「我們創造 Cosmos 是為了普及實體 AI，讓每一位開發人員都能掌握一般機器人技術。」

開放世界基礎模型，加速推動發展下一波 AI 浪潮

NVIDIA Cosmos 的開放模型套件代表開發人員可以視自己目標應用的需求，使用資料集自訂 WFM，例如自駕車的行車錄影畫面或是機器人穿梭在倉庫裡。

專為實體 AI 研發工作而生的 Cosmos WFM，可從文字、影像、視訊等輸入資料，以及機器人感測器或動作資料的組合，產生符合物理原則的影片。專為符合物理原則的互動、物件持久性，以及生成高品質模擬工業環境（如倉庫或工廠）和駕駛環境（包括各種路況）而建立這些模型。

NVIDIA 創辦人暨執行長黃仁勳在他的 CES 大會開幕主題演講中，展示了實體 AI 開發人員使用 Cosmos 模型的方式，其中包括：

• 視訊搜尋與理解，讓開發人員能夠輕易從視訊資料中找到特定的訓練情境，例如下雪天的路況或倉庫擁塞情況。
• 使用 Cosmos 模型從 NVIDIA Omniverse™ 平台開發的受控制 3D 情境中產生真實感十足的視訊畫面。
• 開發與評估實體 AI 模型，無論是在基礎模型上建立自訂模型、使用 Cosmos 改善模型以進行強化學習，還是測試模型在特定模擬情境下的表現。
• 前瞻性與多重宇宙模擬：使用 Cosmos 和 Omniverse 來產生 AI 模型接下來可能採取的各種結果，以協助它選擇最佳和最準確的路徑。

先進的世界模型開發工具

建立實體 AI 模型需要 PB 等級的海量視訊資料，以及數萬小時的運算時間來處理、整理和標記這些資料。為了協助省下資料整理、訓練與模型客製化的龐大成本，Cosmos 具有以下功能：

• 由 NVIDIA NeMo™ Curator 支援的 NVIDIA AI 與 CUDA^® 加速資料處理管道，能夠讓開發人員使用 NVIDIA Blackwell 平台在 14 天內處理、整理和標記 2,000 萬個小時的視訊內容，而單獨使用 CPU 的話，得要花上 3年以上。
• 先進的視覺標記器 NVIDIA Cosmos Tokenizer 可以將影像和視訊內容轉換為標記。與當今領先的標記器相比，它的總壓縮率提高了 8 倍，處理速度加快了 12 倍。
• NVIDIA NeMo 架構可進行高效率的模型訓練、客製化與最佳化。

全球最大的實體 AI 採用 Cosmos

實體 AI 產業的先驅業者已經開始採用 Cosmos 技術。

AI 及人型機器人公司 1X 使用 Cosmos Tokenizer 推出 1X World Model Challenge 資料集。小鵬汽車將使用 Cosmos 加速開發自家的人型機器人。而 Hillbot 和 SkildAI 則是使用 Cosmos 來快速開發自家的通用機器人。

Agility 技術長 Pras Velagapudi 表示：「資料稀少和多變是機器人環境中成功學習的主要難題。Cosmos 的文字轉世界、影像轉世界和視頻轉世界的功能，讓我們能夠在各種任務中產生和增強那些栩栩如生的場景，我們可以利用這些場景來訓練模型，不用花費大量時間心力去取得實體世界的資訊。」

交通運輸業的領導業者同樣使用 Cosmos 為自駕車建立實體 AI。

• Waabi 是一家為實體世界開創生成式 AI 的公司，將使用 Cosmos 搜索和整理視頻資料，用於開發和模擬自駕車。
• Wayve 是一家開發自動駕駛 AI 基礎模型的公司，正在評估將 Cosmos 作為搜索用於安全性和驗證之邊緣和極端行車情況的工具。
• 提供自駕車工具鏈的 Foretellix 將使用 Cosmos 與 NVIDIA Omniverse Sensor RTX API，以評估和產生大量真實感十足的測試場景和訓練資料。
• 全球乘車服務巨擘 Uber 將與 NVIDIA 合作，加速推動發展自動駕駛移動技術。Uber 提供豐富的駕駛資料集，結合 Cosmos 平台與 NVIDIA DGX Cloud 的功能，將協助自駕車合作夥伴更有效率地建立更強大的 AI 模型。

Uber 執行長 Dara Khosrowshahi 表示：「生成式 AI 將用於支援未來的交通運輸服務，這需要豐富的資料和非常強大的運算能力。我們與 NVIDIA 合作，有信心能協助推動業界發展出安全且具擴充性的自動駕駛解決方案時間表。」

開發開放安全且負責任的 AI

NVIDIA Cosmos 遵守 NVIDIA 首重隱私性、安全、保障、公開透明度以及減少不必要偏見的值得信賴 AI 原則來開發。

在促進開發者社群創新及維護使用者信任方面，值得信賴的 AI 扮演著重要角色。NVIDIA 致力於落實安全且值得信賴的 AI，配合美國白宮的自願性 AI 承諾及其他全球 AI 安全措施。

開放的 Cosmos 平台包含專為減緩有害文字與影像而設計的防護機制，具備加強文字提示準確性的工具。在 NVIDIA API 目錄上使用 Cosmos 自回歸和擴散模型產生的影片會有一個隱形浮水印，用於辨識 AI 產生的內容，有助於減少錯誤資訊和張冠李戴的機會。

NVIDIA 鼓勵開發人員採用值得信賴的 AI 做法，進一步強化應用程式的防護與浮水印解決方案。

上市時間

現已可在 Hugging Face 及 NVIDIA NGC 目錄上，以 NVIDIA 開放模型授權的方式取得 Cosmos WFM。即將以徹底最佳化 NVIDIA NIM 微服務的形式提供 Cosmos 模型。

開發人員可以使用 NVIDIA NeMo Curator 來加快處理訊內容，並且使用 NVIDIA NeMo 訂製自己的世界模型。NVIDIA DGX™ Cloud 讓使用者可以便捷地部署這些模型，並且透過 NVIDIA AI Enterprise 軟體平台提供企業支援服務。

NVIDIA 另有推出全新 NVIDIA Llama Nemotron 大型語言模型和 NVIDIA Cosmos Nemotron 視覺語言模型，開發人員可將這些模型用於醫療保健、金融服務、製造業等領域的企業 AI 使用案例。