DRIVE Labs:追求完美偵測十字路口的表現

作者 Neda Cvijetic

WaitNet 深度神經網路在沒有地圖幫助的情況下辨識十字路口。

編輯手札:這是NVIDIA DRIVE Labs系列的第二支影片。我們在這個系列裡,以工程的角度去看每一件自動駕駛車開發過程中的挑戰,還有NVIDIA DRIVE AV Software團隊如何克服它們。如果你錯過了我們的第一支介紹路徑感知的影片,請點這裡補課。

任務:透過人工智慧即時進行感知,以偵測十字路口

方法:WaitNet 深度神經網路

穿梭在有交通燈號控制的十字路口,似乎不是什麼難事。但是當 NVIDIA BB8 自動駕駛測試車去年首次試著那麼做時,它的表現讓我們的工程師臉上露出笑容。

理由相當充分。NVIDIA BB8 自動駕駛測試車光是靠著我們的人工智慧即時感知深度神經網路,就能偵測、停止和穿過十字路口,極為精確地完成了這項工作。

我們的作法是使用人工智慧場景理解能力來即時感知和分類十字路口。這個作法並非試著偵測及組合每個特徵,像是停車標誌、交通信號燈、車道標線等,以拼湊出十字路口,而是使用 WaitNet 深度神經網路來對場景進行偵測和分類。

WaitNet 一名源自於它要執行的任務:偵測自動駕駛車必須停車等待的情況。我們使用攝影機的影像資料來訓練這套卷積深度神經網路,以推論各種要停車等待的情況,像是十字路口、建築工地區和收費站,並且對它們進行分類。

接著這些結果可以輸入到更高層的自動駕駛車的軟體模組,例如地圖繪製及車輛行為規畫組件。

與人類偵測行為相似

WaitNet 的十字路口偵測與分類過程,有點像是人類在十字路口停下腳步看有無來車的方式。整個場景由許多特徵,而非單一指標組成,例如停車標誌、交通信號燈,或是在非常見地點或位置出現車道標線。我們的視覺系統同時也感知這個場景,以偵測是否出現十字路口及其類型。


使用我們的 WaitNet DNN 偵測場景內是否出現十字路口(以黃色顯示)
。偵測到的交通信號燈以紫色顯示。

使用人工智慧對場景進行感知的優點?不用人工判斷哪些視覺特徵跟整體十字路口的感知內容有無相關性,也不用人工編寫規則程式碼來為每種十字路口加入這些視覺特徵。世界上有太多種類的十字路口,複雜程度也無法蠻橫按照每種情況進行開發,更何況這種作法的擴展性也不佳。

再者,不過度依賴某個特徵,也減輕了萬一在偵測某個特徵時失誤而波及其它功能的情況,像是未偵測到停車標誌而未能偵測到整個十字路口。還有不單獨依靠地圖上標明十字路口的位置或類型,也能減少因地圖不完整或錯誤造成的缺失。

將於下一版的 DRIVE Software 推出

能夠偵測十字路口及距離它還有多遠的 WaitNet,原本只是一項內部開發案,不久後它將正式隨著 NVIDIA DRIVE Software 9.0 release 一同發布。

我們靠著 NVIDIA 的自動駕駛車感應器與運算平台 DRIVE Hyperion 套件,還有 WaitNet 的感知能力,可以偵測到最多150公尺遠的大多數十字路口,如此一來便能增加車輛的偵測距離,在接近十字路口時安心地進行煞車。

WaitNet 也對近在咫尺的十字路口,能夠準確地偵測停車點位置。這在半城市和城市環境中特別有用,在這些環境裡多路徑效應會使得 GPS 訊號精度衰弱。

WaitNet 神經網路的功能也將用於日後的軟體版本,包括能夠偵測每個圖幀裡的多個十字路口、交通信號燈和交通標誌等內容。

透過人工智慧的即時感知能力,運用場景和環境理解功能來穿越十字路口,又將 DRIVE Software 的完整性提升到新的境界,有助於創造更美好、更安全的自動駕駛體驗。