編輯手札：這是 NVIDIA DRIVE Labs自動駕駛實驗室系列影片 的一支，我們以工程技術為重點的角度研究自動駕駛汽車的各個挑戰以及 NVIDIA DRIVE AV 軟體團隊如何解決這些問題。您可點此查看 我們自動駕駛汽車其他文章。
特徵跟踪，是連續前後攝影機之間像素級對應關係和像素級變化的估計，是為目標運動/速度估計，相機自調校和視覺測距等提供關鍵的時間和幾何資料。
準確且穩定的特徵軌跡可轉換為感知障礙物時準確的估算碰撞時間，對攝影機感測器的外部校準（俯仰/偏航/側傾）值進行可靠的計算，以及用於在視覺里程表中生成三維世界表示的關鍵視覺輸入 。 由於特徵跟踪基於像素級運算，因此高效能運算平台是實際實現的基礎。
在 DRIVE Labs 的影片中，我們將介紹 NVIDIA DRIVE Software 如何進行特徵跟踪以實現強大的自動駕駛。
隨著車輛的行駛，像素級別的訊息可能會由於光照變化，視點變化以及與場景中非剛性物體運動相關的複雜性而失真。在電腦視覺中，存在幾種常見的演算法方法： 1）具有密集光流的特徵跟踪； 2）具有稀疏光流的特徵跟踪； 3）基於深度學習的方法。
為基於深度學習的光流運算獲得準確，足夠多樣化的像素級對應訓練數據並非易事，因此傳統的電腦視覺方法在此提供了重要的優勢。為了在自動駕駛的準確性，健全性和運行效率之間取得最佳平衡，我們採用了基於稀疏光流的特徵跟踪方法。具體而言，在我們的方法中，我們沒有窮盡電腦圖像中每個像素的光流（密集光流），而是利用稀疏性的運算優勢，僅計算重要特徵點的光流。
該方法包括三個主要步驟： 1）圖像預處理； 2 特徵檢測；和 3）跨畫面跟踪功能。
圖像預處理步驟從圖像中擷取梯度訊息。然後，特徵檢測步驟使用此訊息來識別圖像中的顯著特徵點，可以在整個畫面中對其進行詳細的跟踪。最後，基於光流的特徵跟踪步驟跟踪檢測到的特徵，並估計它們在影片序列中相鄰畫面之間的運動。
對於基於嵌入式運算平台的安全自動駕駛，至關重要的是在實時特徵跟踪中平衡準確性和性能。考慮到這種平衡，我們設計了一種複雜的特徵密度控制演算法，以確保檢測到的稀疏特徵覆蓋對於自動駕駛最重要的圖像區域。此外，我們利用從粗到精的特徵跟踪策略來提高運算速度和健全性。
我們已經啟用了稀疏特徵跟踪，以同時在多台攝影機上運行。從 NVIDIA DRIVE Software 9.0 版本開始，開發人員可以使用前置和環繞攝影機感知配置的功能實現特徵跟踪。