車輛行駛過程中需要對未來進行預測。每當汽車突然駛入某個車道或多輛汽車在同一十字路口相遇時，為了確保安全，駕駛員必須對其他對象的行為進行預測。
人類駕駛員依靠駕駛過程中的線索以及個人經驗對情況進行分析，而自動駕駛汽車可以通過 AI 預測交通模式，並在複雜的環境中安全行駛。
NVIDIA 訓練的 PredictionNet 深度神經網路能讓自動駕駛汽車全方位了解周圍駕駛環境，並根據即時感知和地圖資料預測行人或其他車輛的未來軌跡。
PredictionNet 分析所有道路行為（例如汽車，公共汽車，卡車，自行車和行人）的過去運動，以預測他們的未來運動。 DNN 會回顧過去以獲取先前的道路用戶位置，並且還會獲取場景中固定對象和地標的位置，例如地圖提供的紅綠燈，交通號誌和車道標線。
預測未來具有內在的不確定性。 PredictionNet 通過提供每個道路用戶預測的未來軌蹟的預測統計訊息來捕捉這一點，如圖 1 所示。
從上到下卷積RNN處理方式
之前，預測自動駕駛汽車交通軌跡的方法包括利用模擬學習模型和生成模型對未來軌跡進行採樣，以及使用卷積神經網路和循環神經網路處理感知輸入，並預測未來軌跡。
PredictionNet 採用了基於 RNN 的二維卷積架構，對任意車輛或行人以及預測範圍數量都具有高度可擴展性。
該方式與其他 RNN 一樣，不同時間步長被依次輸入 DNN 。每個時間步長均由俯視圖展示，該俯視圖能夠顯示當時車輛周圍的環境，包括通過即時感知到的動態障礙物以及地圖上的固定地標。
該俯視圖在傳輸給 RNN 之前會經過一組 2D 卷積處理。在當前操作中， PredictionNet 能夠輕鬆預測 1 到 5 秒的未來軌跡，這取決於場景的複雜性（例如，公路還是城市）。
PredictionNet 模型還適用於 TensorRT 深度學習推論 SDK 中的高效率運行，在 NVIDIA TITAN RTX GPU 上實現了 10 毫秒端到端推論。
可擴展結果
到目前為止的結果表明， PredictionNet 在幾種複雜的交通場景下都具有很高的應用前景。例如， DNN 可以預測哪些汽車將直行通過十字路口，哪些將轉彎，還能夠正確預測汽車匯入高速公路場景中的行為。
我們還觀察到 PredictionNet 能夠分析場景中車輛的速度和加速度，這使其能夠正確預測快速移動和完全停止的車輛的速度，以及停走交通模式。
為了達到更高的預測精度，我們在高精度的光達資料上對 PredictionNet 進行訓練。然而，輸入 DNN 的推論時間感知可以基於任何感測器輸入組合（即攝影機、雷達或光達資料），且無需重新訓練。這意味著 DNN 的預測功能可用於各種感測器配置和自動駕駛級別，從 L2+級系統一直到 L4 或 L5 級。
PredictionNet 即時預測行為的能力還能用於創建互動式訓練環境，以加強基於學習的規劃和控制策略，實現自動巡航控制、車道變更或交叉路口處理等功能。
借助 PredictionNet 對其他道路使用者基於真實世界經驗對自動駕駛汽車做出的反應進行模擬，我們能夠訓練出一個更安全、可靠且彬彬有禮的 AI 駕駛員。