編輯手札：這是 NVIDIA DRIVE Labs自動駕駛實驗室系列影片的一支，我們以工程技術為重點的角度研究自動駕駛汽車的各個挑戰以及 NVIDIA DRIVE 團隊解決這些問題。您可點此查看我們自動駕駛汽車其他文章。
每個人在最初學開車的時候都會從最簡單的規則開始學起，其中一個就是“紅燈停，綠燈行”。自動駕駛汽車也需要學習這一簡單規則。同時，它還要學習在各類駕駛環境下精準識別交通標誌和紅綠燈並進行正確的反應。
為了實現這一目標，NVIDIA DRIVE AV 軟體通過深度神經網路（DNN）的組合來檢測交通標誌和紅綠燈來進行分類。其中， LightNet DNN 將根據交通紅綠燈的形狀（例如實心與箭頭）和狀態（即顏色：紅色，黃色，綠色）進行分類；同時， SignNet DNN 將識別交通標誌的類型。總的來說，這三種 DNN 構成了 NVIDIA 感知等待條件軟體的核心，預先檢測自動駕駛汽車需要減速停車等待的交通狀況。
如上圖所示，在 NVIDIA 感知等待條件軟體的架構中，交通紅綠燈和標誌的檢測與交通紅綠燈的狀態/形狀以及類型分類是分開進行的。之所以會做這種區分，是因為這樣可以優化交通紅綠燈和標誌檢測的精確率/召回率，並且能夠使檢測獨立於性能分類運行。這種模式也可以充分利用 WaitNet 在檢測交通紅綠燈和標誌時對周圍環境的理解能力。
為了實現交通標誌類型分類，SignNet 被設計為一種卷積神經網路，它能夠以一種分層的方式對世界各地的大量交通標誌進行分類。在用於分類的卷積神經網路模型當中，必須預先定義所有不同的潛在輸出類別，並且必須為每個畫面選擇一個單獨的分類輸出。面對世界各地交通標誌類型的複雜性，將這種模型進行擴展以涵蓋所有標誌類別，同時還要求其具備高精確率/召回率是非常困難的。
為了管理這種複雜性並優化其性能， NVIDIA 採用了一種分層的卷積神經網路模型。在該模型中，精確的輸出分類是不被預先定義的。 SignNet 經過訓練可以獨立檢測出關鍵特徵，並且可以將其與基於輸出結果分析的輸出分類相結合。通過迭代分析對輸出分類進行設計， SignNet 可以在保證強大分類性能的同時擴展成包含大量標誌類別的模型。
圖 2 ：當速度限制從 80 英里/小時變成 60 公里/小時， SignNet 對歐洲限速標誌進行識別分類，以通過高速公路最後路段
NVIDIA 的 SignNet DNN 模型包含範圍擴大到 300 個美國交通標誌類型和 200 個歐洲交通標誌類型。這些標誌包括高速公路標誌，限速標誌和高速公路區域分隔標誌，以及在半城市乃至城市自動駕駛環境中所會遇見的其他標誌（例如轉彎，靠右上方以及環島標誌）。
為了實現交通紅綠燈形狀和狀態的分類， LightNet 被設計為一個多層級的卷積神經網路。 LightNet ， SignNet 和 WaitNet DNN 可以通過 NVIDIA DRIVE 軟體對開發人員開放，所有的功能都配備開放的 API 。 NVIDIA 計劃將更多的交通紅綠燈和標誌類型以及其他區域擴展至未來版本當中。