NVIDIA 自動駕駛實驗室:特徵追踪如何為自動駕駛保駕護航

作者 NVIDIA Developer

編輯手札:這是 NVIDIA DRIVE Labs自動駕駛實驗室系列影片 的一支,我們以工程技術為重點的角度研究自動駕駛汽車的各個挑戰以及 NVIDIA DRIVE AV 軟體團隊如何解決這些問題。您可點此查看 我們自動駕駛汽車其他文章。

特徵跟踪,是連續前後攝影機之間像素級對應關係和像素級變化的估計,是為目標運動/速度估計,相機自調校和視覺測距等提供關鍵的時間和幾何資料。

準確且穩定的特徵軌跡可轉換為感知障礙物時準確的估算碰撞時間,對攝影機感測器的外部校準(俯仰/偏航/側傾)值進行可靠的計算,以及用於在視覺里程表中生成三維世界表示的關鍵視覺輸入 。 由於特徵跟踪基於像素級運算,因此高效能運算平台是實際實現的基礎。

在 DRIVE Labs 的影片中,我們將介紹 NVIDIA DRIVE Software 如何進行特徵跟踪以實現強大的自動駕駛。

隨著車輛的行駛,像素級別的訊息可能會由於光照變化,視點變化以及與場景中非剛性物體運動相關的複雜性而失真。在電腦視覺中,存在幾種常見的演算法方法: 1)具有密集光流的特徵跟踪; 2)具有稀疏光流的特徵跟踪; 3)基於深度學習的方法。

為基於深度學習的光流運算獲得準確,足夠多樣化的像素級對應訓練數據並非易事,因此傳統的電腦視覺方法在此提供了重要的優勢。為了在自動駕駛的準確性,健全性和運行效率之間取得最佳平衡,我們採用了基於稀疏光流的特徵跟踪方法。具體而言,在我們的方法中,我們沒有窮盡電腦圖像中每個像素的光流(密集光流),而是利用稀疏性的運算優勢,僅計算重要特徵點的光流。

該方法包括三個主要步驟: 1)圖像預處理; 2 特徵檢測;和 3)跨畫面跟踪功能。

圖像預處理步驟從圖像中擷取梯度訊息。然後,特徵檢測步驟使用此訊息來識別圖像中的顯著特徵點,可以在整個畫面中對其進行詳細的跟踪。最後,基於光流的特徵跟踪步驟跟踪檢測到的特徵,並估計它們在影片序列中相鄰畫面之間的運動。

圖說:在六台攝影機的環繞感知設置上運行的特徵跟踪算法,特徵跟踪以藍色顯示。

對於基於嵌入式運算平台的安全自動駕駛,至關重要的是在實時特徵跟踪中平衡準確性和性能。考慮到這種平衡,我們設計了一種複雜的特徵密度控制演算法,以確保檢測到的稀疏特徵覆蓋對於自動駕駛最重要的圖像區域。此外,我們利用從粗到精的特徵跟踪策略來提高運算速度和健全性。

我們已經啟用了稀疏特徵跟踪,以同時在多台攝影機上運行。從 NVIDIA DRIVE Software 9.0 版本開始,開發人員可以使用前置和環繞攝影機感知配置的功能實現特徵跟踪。