為協助開發者快速建構世界模型,讓物理 AI 系統理解並模擬真實世界,NVIDIA 已擴充 Cosmos 平台,加入新的訓練工具、模擬檢查點與 Cosmos Data Factory 藍圖。
NVIDIA Cosmos平台在六個不同的開放模型排行榜中名列前五,為世界模型開發者提供前沿開放模型,以及資料、訓練與最佳化工具和實作配方,協助擴充訓練資料、調適模型、測試行為,並在部署前最佳化效能。
打造更優質的訓練資料
建構世界模型,始於多模態、多感測資料。
NVIDIA Cosmos Data Factory 整合工具與技能,針對物理 AI 訓練所需的資料,大規模執行標註、整理、擴增與評估。Cosmos Curator 是一套 GPU 加速的影片訓練資料集整理解決方案,如今已新增對多模態、多感測輸入與處理區塊的支援。
Cosmos Data Factory 現在提供以下五款雲端原生藍圖,可透過 GitHub、Microsoft Azure、Nebius 與 CoreWeave取得:
- 自駕車資料集生成:整理並標註駕駛資料,再加入難以擷取情境的合成範例,擴大訓練涵蓋範圍。
- 影像屬性擴增:變換物件外觀,改善影像搜尋。
- 事件影片生成:將靜態影像轉換為罕見或不安全事件的合成影片。
- 瑕疵影像生成:生成印刷電路板、金屬與玻璃的瑕疵影像,供檢測模型使用。
- 影片資料擴增:改變既有影片中的天候與光線,同時保留場景結構。
Cosmos Data Factory 運用代理技能,加速資料整理、處理與合成資料生成。
企業已開始運用 Cosmos Data Factory 藍圖,加速物理 AI 開發工作流程。
Porsche 正主導開發橫跨 Volkswagen 集團各品牌的共享自駕車資料飛輪,透過 Microsoft Azure 上的 Voxel51 使用 Cosmos Data Factory。預計這將使重複進行的實車測試行駛減少達 90%,並將開發週期縮短達 85%。
Porsche 在 Cosmos Data Factory 支援的 Voxel51 中搜尋並擴增自駕車資料影片。
ANYbotics 使用 Cosmos Data Factory 藍圖生成超過 1,500 段合成影片,並透過 Encord 的平台整理真實世界資料與驗證輸出,用於訓練工業巡檢機器人,辨識液體洩漏及兩次設施巡檢之間出現的其他變化。
ANYbotics 運用 NVIDIA Cosmos DataFactory 支援的 Encord 生成異常情境影片。
Ultralytics這家電腦視覺公司結合真實影像與使用 Cosmos Data Factory 生成的特定合成瑕疵,重新訓練 YOLO 模型,改善瑕疵定位與召回率。
訓練、調適與最佳化模型
訓練資料準備就緒後,開發者可以訓練自己的架構,或從預訓練模型開始。
在 GTC 柏林大會上,NVIDIA 將 Cosmos Framework 的訓練、最佳化與部署工具及實作配方,以代理技能形式擴展至 Cosmos 3 以外的更多開放模型,讓世界模型開發者能更快從實驗邁向部署。
開發者與代理現在可透過微調與強化學習,調適 GR00T、Alpamayo、QWEN、Pi0.5 及其他相容的 Hugging Face 開放模型,運用蒸餾與量化最佳化模型,並以高效能推論進行部署。
Cosmos Framework 是開放、模組化的框架,整合模型訓練與最佳化工具及技能,加速世界模型開發。為開發專門用於第一人稱視角操作的世界模型,機器人研究實驗室 MicroAGI 使用人類操作物件的影片對 Cosmos 3 進行後訓練,並將其 320 億參數的推理模型蒸餾為 80 億參數的 Nano 模型,同時維持準確度。
開發者可在 Roboflow 上標註資料,並針對特定環境與任務對 Cosmos 3 進行後訓練,再將模型部署至 Roboflow 託管或內部部署的 NVIDIA GPU,將影片推理能力帶進工廠與倉儲。
測試策略,加速模型執行
除了這些工具之外,NVIDIA 也持續透過 Cosmos 模型的研發,推進基礎技術。
全新的 Cosmos 3 Nano 模型變體專為模擬設計,讓開發者能在可重複、難以擷取、具備多視角與多感測器的情境中測試自主策略。隨附的程式碼讓開發者能調適模型,在進行真實世界測試前,先於互動式模擬中訓練與評估自駕車及雙臂機器人的自有策略。

生成多視角、多感測影片資料,以在閉迴路模擬中評估策略。
開發者可使用更新的 NVIDIA Cosmos 3 NIM 微服務部署核心 Cosmos 模型。在經過驗證的設定下,這些微服務可將推論速度提升至最高 2 倍,且不降低品質;持續影片分析則可在不到一秒內發出警示。
針對視覺 AI 開發者,全新的 NVIDIA Metropolis 影片搜尋與摘要 (VSS) 藍圖 3.3 以 Cosmos NIM 微服務為基礎,可將單一提示轉換為高效率的影片 AI 應用程式,並協助團隊使用相同 GPU 監控多出 40% 的影片串流。
ADNOC 使用 Fogsphere 的 MistIQ 代理式平台,在 65 個據點即時偵測安全風險。該平台採用 Cosmos 與 NVIDIA Metropolis VSS 藍圖建構。針對罕見事件,Fogsphere 也使用 Cosmos Data Factory 生成合成訓練資料,無須實際安排危險情境,即可改善偵測能力。
Cosmos 平台完全模組化且開放。開發者可使用 Cosmos Data Factory 生成訓練資料集,使用 Cosmos Framework 訓練並調適世界模型,再透過 NIM 微服務部署支援的 Cosmos 模型。
