讀取人工智慧車輛的心思:NVIDIA 的神經網路如何做出決定

作者 Danny Shapiro

在變化條件無窮無盡的情況下,想要開發出一部在各種情況下都能自動駕駛的車輛,一點都不切實際。

然而拜人工智慧之賜,我們能夠教它怎麼開車,而車跟你家中正處於青春期的孩子不同的是,你會看到車子注意著什麼。

有了NVIDIA PilotNet 便可開發出一套藉由觀察人類行為,就能學習駕駛技術的神經網路系統。這還不是我們的目標。我們開發出一套方法,讓神經網路告訴我們在它對駕駛情況做出決定時,優先考慮的項目有哪些。

科技雖讓我們創造出無法以人工編寫程式的方式一一敘述、就能學習執行事物的系統,我們仍可解釋系統做出決定這件事背後的奧秘。

NVIDIA 自動駕駛車部門首席建構師 Urs Muller 說:「想想你為何能在照片裡認出某個人的臉,接著試著拆解整個過程,變成一套能寫成程式的特定規則 — 你做不到的。那麼問題就變成:『我們要將解決方法限制成只能用規則定義的內容嗎?』

人工智慧觀看人類的駕車方式,進而學習如何駕車

我們使用自家的人工智慧車輛 BB8 來開發和測試 DriveWorks 軟體。品牌和款式並不重要,我們有用過林肯和奧迪的車,日後也會使用其它牌子的車。將從朝前架設的攝影機所取得的影像,變成行駛操控指令的深度神經網路,才是將 BB8 打造成一部人工智慧車輛與展現深度學習實力的關鍵。

我們讓神經網路研究人類駕駛者的開車方式,以訓練它如何操控方向盤。神經網路使用安裝在車上的攝影機,記錄駕駛者看到的內容,再將影像加上駕駛人行車決定的資料。我們在各種環境裡花費不少時間進行駕駛:在有和無車道標線的道路上、在鄉村道路和高速公路上、在一天裡有著各種照明情況的時間裡,以及在各種天候條件下。

不用接收任何一個人工編寫的指令,經過訓練的神經網路就會教自己駕駛 BB8。它會通過觀察的方式來學習。在我們訓練神經網路後,它能在看到新環境時即時提出操控指令。在以下影片裡可以看到相關過程。

看看我們的人工智慧在想什麼

開始運行 PilotNet 後,我們想更深入瞭解它是怎麼做出決定,因此必須開發出一套判斷神經網路在看著一個影像時,腦袋裡想些什麼的方法。


在我們最新的白皮書裡介紹人工智慧車輛的思考方式(NVIDIA)。

我們創造出一個視覺化圖面,以瞭解 PilotNet 從車上攝影機取得新資訊時最關切的項目。下圖是在視覺化圖面上重疊攝影機拍到的畫面,綠色部分是神經網路優先注視的焦點。

這個視覺化的圖面告訴我們 PilotNet 著重的項目,跟人類駕駛者重視的項目相同,包括車道標線、路緣和其它車輛。而在這方面出現革命性進展的是,我們從來沒有直接告訴神經網路要關心這些事情,它是以觀察的方式去學習行車環境裡值得注意的事物,這跟駕訓班學生的學習方式如出一轍。

Muller 說:「使用深度神經網路的優點是車子會自行思考和判斷,不過要是我們不明白它是怎麼做出決定,就不會真正有所進展。我們為了瞭解神經網路而開發出的方法,讓我們取得改善系統所需的資訊,也讓我們更有信心。我說不清每一件要車子做的事,不過我可以展現出來,而車子現在也能將它學到的東西表現給我看。」

開始量產自動駕駛車之際,各種人工智慧神經網路和更多傳統技術會用在駕駛車輛上。除了控制方向盤的 PilotNet,車上還會配備經過訓練且著重於偵測行人和車道、讀取號誌、避免碰撞等特殊任務的神經網路。

開去星巴克

使用多種各司其職的人工智慧神經網路,將提高自動駕駛車的安全性和可靠性。我們的研究成果將這種精密的人工智慧技術用在複雜的行車環境裡,很快某一天你就能享受自動駕駛車的樂趣,就像在以下影片裡我們坐在 BB8 車內的情況。

如需更多 NVIDIA 的完整車用科技解決方案資訊,包括 DRIVE PX 2 人工智慧車輛超級電腦及 NVIDIA DriveWorks 開發者開放平台,請至 NVIDIA.com/drive請閱讀研究白皮書,以瞭解我們是如何探究自家的深度神經網路,明白它在駕駛時優先注意哪些焦點。