用於 DRIVE Sim 的 NVIDIA Omniverse Replicator 可加速自動駕駛汽車開發並提高搜索結果

現實與模擬之間的差距越來越小。

NVIDIA創辦人暨執行長黃仁勳在 GTC 大會主題演講中推出 NVIDIA Omniverse Replicator，這是一種生成具有正確標註的合成數據以訓練 AI 網路的引擎。在展示中，黃仁勳展示了 Omniverse Replicator 在使用 DRIVE Sim 開發自動駕駛汽車時的強大功能。

DRIVE Sim 是一種建立在 Omniverse 上的模擬工具，它利用了該平台的許多功能。DRIVE Sim 生成的數據用於訓練自動駕駛汽車感知系統的神經網路。對於 NVIDIA DRIVE 團隊來說，合成數據已成為其自動駕駛汽車開發工作流程中一個有效且關鍵的組成部分。

為自動駕駛汽車感知的深度神經網路由兩部分組成：演算法模型和用於訓練該模型的數據。工程師消耗大量時間在演算法改進上。但是，由於現實世界數據收集不全、耗時且成本高昂的限制，因此該深度神經網路的數據方面仍然不夠改善。

這種不平衡往往導致 DNN 開發停滯不前，阻礙數據收集進展而使之無法滿足模型需求。通過合成數據生成工具，開發者可以更好地控制數據開發，適應模型的特殊需求。

雖然現實世界數據是自動駕駛汽車訓練、測試和驗證的關鍵組成部分，但它仍帶來了重大挑戰。用於訓練這些網路的數據由車隊上的感測器在車輛實際行駛過程中收集。數據一經捕獲，必須標上正確的標註。標記數據工作由成千上萬名標記員手動完成 – 這個過程既費時又成本高昂，而且可能不準確。

通過合成數據增強實際世界的數據採集，可以消除這些瓶頸問題，同時使工程師能夠針對 DNN 開發採取數據驅動型方法，顯著加快自動駕駛汽車開發並改進真實世界的結果。

模擬到真實的域差距問題

合成數據生成是一種用於人工智慧訓練的知名工具—研究人員早在 2016 年就一直在電子遊戲（如“俠盜飛車”）上做試驗，以建立數據。

然而，與電子遊戲不同，感知 DNN 的品質可能會受到數據與現實世界之間保真度的嚴重影響，對資料集的訓練若不轉換到現實世界，則實際上可能會降低網路的性能。

這種模擬到現實的差距主要表現在兩個方面。外觀逼真的模擬圖像和真實圖像之間的像素級差異，這是由模擬器生成數據的方式引起的。渲染器、感測器模型、3D 資產的保真度和材料屬性都可能會導致出現這種差異。

內容差距可能是因為缺乏現實世界的內容以及模擬和現實世界背景之間的差異造成的。當一個場景的背景與現實不匹配時，就會出現這些不一致場景。例如，現實世界包括髒亂的街道、凹損的汽車和路邊的緊急救援車輛，所有的這些都必須在模擬中再現。另一個重要的因素是行為者（如交通和行人）的行為—現實的交互是現實數據輸出的關鍵所在。

應用 Omniverse Replicator 以縮小模擬到真實的領域

Omniverse Replicator 旨在縮小外觀和內容的差距。

為了縮小外觀差距，DRIVE Sim利用 Omniverse 的 RTX 路徑追踪渲染器為攝影機、雷達、光達和感測器生成基於物理性質的數據。感測器數據包含了現實世界的動態效果，包括 LED 閃爍、動態模糊、滾動快門、光達束發散和多普勒效應。這些資料甚至包括高保真車輛動態都很重要，例如車輛在光達掃描過程中會影響點雲產生的點。

此感測器方程的另一端便是材料。 DRIVE Sim 中的材料經過物理模擬，可獲得精確的光束反射。 DRIVE Sim 包括一個內置的光達材料庫和一個即將建成的雷達和超聲波材料庫。

Sim DRIVE Sim 的包括路徑追踪攝影機、雷達和激光雷達模型，感測器可反映現實世界的效果，如動態模糊、LED 閃爍、滾動快門和多普勒效應。

解決內容差距的主要方法之一是在最高保真度下使用更多樣化的資產。DRIVE Sim 利用 Omniverse 的功能連接到各種內容創造工具。但是，生成合適的場景還需要場景正確。

接下來，Omniverse Replicator 使用個別域隨機化的功能組織數據以執行快速場景操作。DRIVE Sim 包括用於此功能和場景建構的工具，這些工具在維護現實世界背景的同時建立大量不同的數據。Omniverse Replicator 還具有時間準確性和確定性，資料集可以重複的方式建立。

DRIVE Sim 提供合適的工具以能夠且可重複的方式隨機場景，從而為生成的數據添加操作和多元性。

豐碩成果

通過 NVIDIA 的合成數據，DRIVE Sim 在加速感知開發方面已經取得了顯著成果。

一個範例是遷移到新的 NVIDIA DRIVE Hyperion 感測器集。 NVIDIA DRIVE Hyperion 8 平台包括用於完整生產自動駕駛汽車開發的感測器。然而，在這些感測器可用之前，NVIDIA DRIVE 團隊能夠使用合成數據為平台提供 DNN。 DRIVE Sim 生成了數百萬張圖像和真值數據用於訓練。因此，一旦安裝感測器，網路便已準備好部署，從而節省了長達數月的寶貴開發時間。

在另一種情況下，用於檢測可駕駛車道空間的 PathNet DNN 在車輛未處於車道中心時難以確定路徑。收集此類數據很困難，因為車輛部分駛出車道非常危險（而且違反了 NVIDIA 的數據採集策略）。通過基於數百萬條駛離車道中心行駛路徑的合成圖像對網路進行訓練，DRIVE Sim 顯著提高了 PathNet 的準確性。

用於檢測交通燈的 LightNet 和用於檢測和分類路標的 SignNet 也是如此。由於缺乏數據，這些網路很難從特殊狀況下識別交通號誌，並在某些條件下對路標進行錯誤分類。工程師能夠設計數據來增強現實世界的數據集並提高性能。

通過對這兩個 DNN 進行涵蓋這些問題領域的合成數據訓練，性能得以迅速提高，消除了開發過程中的瓶頸問題。

看到人類肉眼所不能看到的事物

合成數據改變了 DNN 開發的本質。它具有時間效益和成本效益，為工程師們提供了按需生成定制數據集的自由。

開發者可以指定天氣、照明、行人、道路碎石等元素。他們還可以控制元素的分佈，例如在給定數據集中指定卡車、公共汽車、汽車和摩托車的特定組合。

合成數據提供了人類無法標記的正確的標註。例如深度資訊、速度和多感測器追踪。這種正確的標註資訊可以顯著增強感知性能。

它還有助於標記難以標註（有時是不可能實現）的組件。例如，對於在汽車後方行走的行人，如果被遮擋，人們將無法正確對其貼標。但是，通過模擬，即使人們看不到資訊，正確的標註仍自動可用且具有像素級準確性。