編輯手札：這是 NVIDIA DRIVE Labs自動駕駛實驗室系列影片的一支，我們以工程技術為重點的角度研究自動駕駛汽車的各個挑戰以及 NVIDIA DRIVE AV 軟體團隊如何解決這些問題。您可點此查看我們自動駕駛汽車其他文章。
自動駕駛汽車依靠攝影機來實現對周圍環境的觀察。然而，一些環境因素，比如雨、雪和其他障礙，會影響攝影機的可見度。除了能夠感知周邊環境，任何一個可靠的感知系統都應當由感測器傳輸數據推理出有效的數據。為達此目的，在數據被下游模組處理之前，感知系統在處理過程中能夠儘早地檢測到無效數據是十分必要的。
NVIDIA 開發出了一種深度神經網路（DNN） ClearSightNet 。它可以評估攝影機的可見度並幫助確定阻擋、障礙以及可見度降低的根本原因。我們在開發 ClearSightNet 的時候考慮到了以下需求：
- 造成攝影機失明的各種潛在原因中推理出根本原因的能力
- 輸出可操作的有意義訊息
- 必須十分輕巧，能以最小的運算消耗在多個攝影機上運行
ClearSightNet 根據攝影機失明的兩種情況將攝影機圖像分成不同的對應區域，這兩種情況分別是阻擋和可見度降低。
阻擋部分所對應的攝影機視野區域是：攝影機被不透明阻擋物（如灰塵、泥土或雪等）阻擋的情況；以及攝影機不包含任何訊息，如因太陽照射而造成像素飽和的情況。在這些區域當中，感知通常會完全受損。
可見度降低部分對應的區域是：當攝影機沒有被完全阻礙，但由於大雨、水滴、炫光和霧等因素導致可見度受損的情況。在這種情形下，攝影機的感知往往是部分受損，但依然被看作擁有較低的可信度。
該深度神經網路輸出能夠在輸入圖像上覆蓋一層圖層從而實現可視化：完全阻擋的區域顯示為紅色，可見度降低或部分阻擋的區域顯示為綠色。此外， ClearSightNet 還能輸出一個比率或百分比，用以說明輸入圖像受到阻擋或可見度降低影響的區域佔比。
ClearSightNet 輸出範例。輸入圖像（左）和經 ClearSightNet 輸出圖層覆蓋的輸入圖像（右）。在圖中所示的情況下， 84 ％的圖像像素受到阻擋的影響，其中部分阻擋顯示為綠色，完全阻擋顯示為紅色。
該訊息能以多種方式被使用。例如，當可見度低時，車輛可以選擇不開啟自動駕駛功能，並提醒用戶清潔攝影機鏡頭或擋風玻璃，或者使用 ClearSightNet 輸出以通知用戶攝影機感知可信度計算結果。
無論是當前還是未來版本， ClearSightNet 都會持續輸出端到端的分析以及關於攝影機失明的詳細訊息，從而對汽車實現最大程度的控制。
在性能方面，基於 INT8 校準原理的 ClearSightNet 目前在 Xavier 上每幀運行時間約為 0.7 ms （獨顯 GPU）和 1.3 ms （內顯 GPU）。 ClearSightNet 已在 NVIDIA DRIVE 軟體 9.0 版本中可用。