深度學習如何讓夜拍影片變得清晰

作者 Daniel Saaristo

從自拍到衛星照片,攝影機已是生活裡不可或缺的一部分,不斷監控著我們的住家和街道,還有維持公司行號內外安全。

在監視器畫面裡從辨識竊賊到查看嬰孩情況,雨水、霧霾、昏暗光線等諸多因素會使得影片畫質變差,讓人們無法根據影片畫面做出決定。

NVIDIA Inception 計畫成員 Brighter AI 投入心力改善上述情況。這間位於柏林的新創公司採用深度學習來協助人們看清攝影機拍攝的圖像、影片和串流影像,就算是夜拍畫面也沒問題。

轉夜為日

攝影機難以在漆黑一片夜裡拍攝清晰、銳利又詳細的影像,對於保全攝影機來說更是如此。專業保全人員通常靠著閉路電視或穿戴式攝影機拍攝的畫面來判斷安全方面的威脅,視情況決定是否採取進一步舉動。

有夜視能力的攝影機是一項了不起的裝置,但要是拍攝到的影像不夠細膩,也會讓使用者無法從中獲得有用資訊。加上夜視畫面為單色,物體間的差異性不大、明暗也難以區分,使用者不易進行辨識。

簡單來說,攝影機的現行標準無法在視覺方面支援專業保全人員,以監控及對可能的犯罪行為加以反應。

Brighter AI 採用有著 NVIDIA GPU 助力的深度學習技術,將夜視攝影機拍攝的畫面轉為細膩的全彩畫面。用他們的話說來就是「重現天日」。


Brighter AI 使用 GAN 將夜視畫面變得明亮清晰。

Brighter AI 為了讓夜視畫面變得明亮,運用了生成對抗網路(GANs)這項深度學習方法,讓兩套神經網路扮演生成者和鑑別者相互抗衡,不斷質疑對方以提升結果水準。

Brighter AI 的生成網路從夜視影片創造出日間影像,而鑑別網路則是判斷這些日間影像的真偽,長時間下來,這兩套網路不斷提升其水準。

Brighter AI 這套正在申請專利的系統,目前同時在七套深度神經網路上進行訓練。它讓專業人員更有信心、更準確也更快根據影片做出判斷,加上 Brighter AI 採用雲端解決方案,無需變更硬體就能隨時對攝影機進行升級。

Inception 計畫

Brighter AI 是兩千多間加入 Inception 計畫之新創公司的一員。這項虛擬加速器計畫讓新創公司能夠獲得技術、專業知識與行銷方面的支援。