自動駕駛實驗室:高精度檢測道路標記和地標

作者 NVIDIA Developer

編輯手札:這是 NVIDIA DRIVE Labs自動駕駛實驗室系列影片的一支,我們以工程技術為重點的角度研究自動駕駛汽車的各個挑戰以及 NVIDIA DRIVE AV 軟體團隊如何解決這些問題。您可點此查看我們自動駕駛汽車其他文章。

車道線和道路邊緣檢測對於自動駕駛汽車的開發而言非常重要 – 車道線檢測能為車道偏離之類的系統提供動力,讓人類駕駛避免偏離車道。除了檢測車道線訊息外,自動駕駛汽車還需要檢測其他道路標記 – 例如箭頭或 STOP 字樣 – 同時還需監測將車輛精確定位到高清地圖上的垂直地標。

在本期的 NVIDIA DRIVE Labs 自動駕駛實驗室影片當中,我們將介紹 LaneNet DNN的發展,它能夠以高精度且穩定的方式檢測道路上的車道線,並傳輸到 NVIDIA 高精度的 MapNet DNN 。這種進化包括檢測類別的增加,除了車道線檢測之外,它還包括了道路標記和垂直地標(例如,極點)的檢測。並且,它還通過端到端的檢測提高了處理效率,進而提供了更快的車內推論能力。

NVIDIA DRIVE Software 10.0 版本中提供的 MapNet DNN 模型能夠檢測到車道線標記(實線/虛線,交叉入口/出口線,道路邊緣),道路標記(例如箭頭, STOP 字樣和高佔用率的車道標記)以及垂直桿(例如,路標和燈桿)。

為了執行高精度的道路標記和垂直地標的檢測, MapNet DNN 利用其前身,即高精度 LaneNet 的擴展地面實況數據編碼技術。這種編碼可防止高解析度視覺資訊在卷積深度神經網路處理期間遺失,並且在方向和指向上均不確定。另外創造足夠的冗餘以保留豐富的車道線訊息外,它還可以輕鬆擴展並保留任意形狀的道路標記以及地標(例如極點)的訊息(在此以“垂直車道線”為例)。

我們還觀察到,即使在道路標記部分缺損的情況下,高精度的 MapNet 仍能夠提供精確的道路標記形狀檢測,如下圖 1 所示。如果在同一車道上同時放置實線和虛線車道線標記, MapNet 會刻意將車道線視為實線以確保安全駕駛。

圖 1 。出現像素級可視化的 MapNet DNN 檢測結果,顯示一個部分缺損的左轉箭頭標記。青色表示道路標記,深藍色表示虛線車道線。

MapNet 還可以一直檢測從實線到虛線車道線標記的過渡。 MapNet 還可以檢測道路邊緣,這個功能在沒有清晰粉刷的車道線標記時特別有用。

我們觀察到,即使在遇到視覺挑戰的情況下(包括道路裂縫,柏油污點和樹木或垂直地標所投射的粗糙陰影干擾), MapNet 也能穩定地檢測車道線和道路邊緣。而且, MapNet 還可以檢測不同語言的道路文字標記。

目前正在開發的最新 MapNet DNN 模型,通過訓練後可以實現端到端的道路標記和地標檢測,從而大大降低了將原始 DNN 結果通過後處理轉換連續幾何圖形輸出的複雜性。快速的車內推論至關重要,因為它為緃向和橫向規劃和控制功能提供了低延遲的感知輸入。

此外, MapNet 提供的高精度道路標記和地標檢測結果可用作自動駕駛汽車的地圖和定位功能的輸入。檢測垂直地標(例如極點)的能力也特別有利於自動駕駛汽車獲得準確的精確定位結果。