自動駕駛的發展以三台不同的電腦實現:NVIDIA DGX 系統用於在資料中心訓練以人工智慧(AI)為基礎的堆疊,在 NVIDIA OVX 系統上運行的 NVIDIA Omniverse 用於模擬與產生合成資料,而 NVIDIA AGX 車載電腦則用於即時處理感測器產生出的資料以確保安全。
這些專門建置的全堆疊系統共同推動持續性的開發進程,加快提高效能與安全性。
NVIDIA 今日在 CES 大會宣布此方程式又加入一個新成員:NVIDIA Cosmos。 這個平台包含最先進的生成世界基礎模型(WFM)、先進的標記器、護欄和加速影片處理管道,專為推動開發自駕車輛與機器人等實體 AI 系統而打造。
將 Cosmos 加入三台電腦的解決方案,開發人員獲得一個資料飛輪,可以將人類駕駛所累積出的數千哩的里程轉換為數十億哩的虛擬駕駛里程,提高訓練資料的品質。
NVIDIA AI 研究部門副總裁 Sanja Fidler 表示:「自動駕駛資料工廠的飛輪包括收集車隊資料、精準的 4D 重構與 AI,以產生場景與各種交通路況,用於訓練與閉環評估。開發人員使用 NVIDIA Omniverse 平台以及 Cosmos 和支援的 AI 模型,可以產生合成的行車場景,將訓練資料放大數倍。」
NVIDIA車用產品副總裁 Norm Marks 表示:「開發人員在開發實體 AI 模型的過程向來是資源密集且成本高昂的工作,需要取得真實世界的資料集,並且篩選、整理和準備訓練資料。Cosmos利用生成式 AI 加快這個過程,更聰明、快速且精確開發用於自動駕駛和機器人的 AI 模型。」
交通運輸領域領導業者使用 Cosmos 為自動駕駛建立實體 AI,包括:
- Waabi為實體世界開創生成式 AI,使用 Cosmos 搜尋和整理影片資料,用於開發和模擬自動駕駛軟體。
- Wayve 開發適用於自動駕駛的 AI 基礎模型,正在評估 Cosmos,將其作為搜尋用於安全和驗證之邊緣和極端駕駛情況的工具。
- 自駕車工具鏈供應商 Foretellix 使用 Cosmos 與 NVIDIA Omniverse Sensor RTX API,以評估和產生大量高擬真度的測試場景及訓練資料。
此外,乘車服務巨擘 Uber 也將與 NVIDIA 合作,加速推動開發自動駕駛移動技術。Uber 提供豐富的駕駛資料集,加上 Cosmos 平台與 NVIDIA DGX Cloud,將協助自駕車合作夥伴更有效率地建立更強大的 AI 模型。
上市時間
Cosmos WFM現已在 Hugging Face 及 NVIDIA NGC 目錄上以開放模型授權的方式提供。Cosmos模型即將以完全最佳化 NVIDIA NIM 微服務的形式提供。
開始使用 Cosmos、觀看示範,並且參加 NVIDIA 在 CES 大會的活動。
請見有關軟體產品資訊的通知。