NVIDIA自動駕駛實驗室:我們如何訓練神經網絡預測車道線

作者 Neda Cvijetic

高精度神經網絡 LaneNet DNN 支持像素級精度的車道線檢測。

自動駕駛實驗室

這是 NVIDIA DRIVE Labs 自動駕駛實驗室系列視頻的第七集,在上一集中我們介紹了 NVIDIA 如何借助單個攝像頭圖像以及深度神經網絡處理測算自動駕駛車輛與障礙物之間的距離。在自動駕駛實驗室系列視頻中,我們將以工程技術為重點的視角關注實現自動駕駛汽車的各個挑戰以及 NVIDIA DRIVE AV 軟件團隊如何應對這些問題。

任務:

遠距離且高精度的車道線檢測

方法:

高精度神經網絡 LaneNet DNN

車道線標記對於自動駕駛汽車來說是重要的行車指南,它為車輛提供關鍵的駕駛環境信息,即它們的所處位置以及目的地。這也是為什麼利用像素級精度檢測車道線標記,對於自動駕駛汽車來說至關重要。

首先,自動駕駛汽車需要遠距離的車道線檢測範圍,也就是說自動駕駛系統需要感知距離本身車輛或者正在運行感知算法車輛更遠的車道線。

在圖像邊界附近檢測到更多的車道線像素,就意味著在實際行車場景中,可以將車道線檢測範圍增加數十米。

此外,車道線檢測解決方案必須是穩健的。在自動駕駛車道線保持過程中,遺漏或不穩定的車道線檢測都會造成車輛偏離車道。像素級冗餘的檢測能夠減少遺漏或不穩定的車道線檢測。

深度神經網絡處理已經成為一種重要的基於 AI 的車道線檢測技術。借助這種方法,人類可以對車道線和車道邊緣高清圖像進行標記。這些圖像可以用來訓練卷積神經網絡模型,讓它能夠識別之前不可見數據中的車道線。

在卷積神經網絡中保持精度

借助卷積神經網絡會導致在深度神經網絡輸出階段發生不可避免的像素丟失。儘管輸入圖像可能是高清的,但是當卷積神經網絡處理這些圖像的時候,遞增的降採樣會造成大量的像素遺失。

這就導致了在高清輸入圖像中原本清晰標記車道線以及車道邊緣的各個像素,在深度神經網絡輸出的階段變得模糊。那麼,用以推斷車道線/車道邊緣的高精密關鍵空間信息將會遺失。

NVIDIA 高精度 LaneNet 解決方案在卷積神經網絡處理圖像時,能夠以一種可以保留高清信息的方式對實況道路圖像數據進行編碼。

這種編碼旨在為豐富的空間信息創建足夠的冗餘,以便在卷積神經網絡固有的降採樣過程中,保證這些信息不會遺失。高精度 LaneNet 的主要優勢包括增加了車道線檢測的範圍,優化了車道線邊緣檢測的準確率/召回率以及提升了車道線檢測的穩健性。

左:來自高精度 LaneNet 的逐幀像素級車道線檢測。右:像素級檢測在經過後期處理之後顯示為車道線。在圖像邊界附近進行額外的像素級車道線檢測,就意味著在實際行車場景中,可以將車道線檢測範圍增加數十米。

高精度的 LaneNet 還能讓我們在使用低清圖像處理方式的同時,保留高清圖像當中豐富的可用信息。這就讓車內推斷可以進行更有效的計算。

借助 LaneNet 高精度車道線檢測,自動駕駛車輛能夠在道路上對自己進行更好的定位,同時也能感知規劃出一條更安全的行駛路徑。