編輯手札：這是 NVIDIA DRIVE Labs自動駕駛實驗室系列 影片的一支，我們以工程技術為重點的角度研究自動駕駛汽車的各個挑戰以及 NVIDIA DRIVE AV 軟體團隊如何解決這些問題。您可點此查看 我們自動駕駛汽車其他文章。
想讓自動駕駛技術超越先前的輔助駕駛，可靠的 360 度全景障礙感知能力不可或缺。
對車輛周圍的目標進行檢測並做出相對反應是自動駕駛汽車確保安全舒適駕駛體驗的必備能力。通常情況下，在自動駕駛汽車上會配備各式各樣的感測器，從而為車輛提供可靠的周圍感知能力。環繞攝影機和雷達感測器裝置是汽車行業主要的周圍感知系統選擇之一。
由於各種感測器都獨立運作，導致各個類型的感測器都有自身的局限性。攝影機數相機數據可以提供場景的語義表示，但是 3D 資訊相對薄弱。而雷達數據雖然能夠提供良好的目標距離和障礙速度估計，但缺乏語義表現。在本期的 NVIDIA自動駕駛實驗室影片 中，我們將詳細介紹為什麼感測器融合如此重要。一個感測器融合系統能夠將來自兩種感測器的感知信號融合，並提供可靠的環繞感知功能。
環繞攝影機-雷達融合是在環繞攝影機和環繞雷達感知流程上建構的感測器融合層。 它旨在利用每種感測器的互補優勢，並提供高質量的語義訊息以及準確的位置，速度和加速度估算值。 核心攝影機-雷達融合功能被重新用於每個攝影機，如此整個流程便易於擴展。
攝影機雷達融合
攝影機-雷達融合模組是環繞攝影機-雷達融合處理流程的主要組成部分（圖 1 ）。它將單一攝影機檢測到的目標與環繞雷達感知到的目標融合在一起。這背後的核心意義是用一種有效的方法進行跨感測器的目標匹配，並將各感測器的信號進行融合如此提高該目標的 3D 資訊質量。
前置處理
前置處理有其必要，以辨識匹配（也就是融合）過程中的正確攝影機目標和雷達目標是匹配的。這可以使用簡單的技術來實現，例如考慮落在攝影機和雷達感知的視場交叉點中的目標。此方法在過濾掉出現在一般場景中的無關目標方面非常有效。
在前置處理過程中，我們將更新目標數據以助力融合過程。在攝影機和雷達感知流程都分別在各自的線程上獨立運行的情況下，此轉變尤為重要。此外，攝影機感知更新頻率與雷達感知更新頻率不盡相同。實際上，攝影機感知更新頻率通常高於雷達感知頻率。因此，必須將兩個感測器中的目標對準一個共同的更新頻率中，以正確融合測量結果。
目標融合
融合的過程起兩種感測器之間目標匹配或有無關聯的問題。從本質上講，這是一個雙邊匹配問題。對於每個攝影機感知到的目標，我們都希望從雷達感知中找到其對應的目標，反之亦然。
通過啟發探索或成本考量來決定潛在的匹配是融合流程步驟中最重要的方向。通過分析來自兩個傳感器的單個感知信號的行為，以數據驅動的方式設計成本指標。成本考量是一種數據驅動的設計方式，透過兩個感測器的分離感知信號的表現來分析。它會考慮來自不同感測器的信號（例如位置，速度，碰撞時間和物體的方位角）如何相互比較。它還兼顧了了目標在其檢測歷史上在時間上的匹配程度。
成本考量適用於來自兩種感測器類型的所有目標匹配者。擁有至少一個共同目標等條件的目標匹配中成本最低的一對將被確定為匹配目標。一旦目標匹配成功，就通過使用不確定性估計來融合感知信號，以生成用於下游計劃和控制模組的可靠 3D 信號。
環繞攝影機雷達融合的功能非常靈活，支持多種感測器組合，包括 6 個攝影機 8 個雷達的組合； 4 個攝影機 8 個雷達的組合； 2 個攝影機 4 個雷達的組合； 1 個攝影機 1 個雷達的組合等等。開發者可以通過NVIDIA DRIVE Software 10.0 版本使用這一功能。