神來一筆:GauGAN 把塗鴉變成精美又逼真的風景畫面

作者 Isha Salian

NVIDIA Research 利用生成對抗網路創作出極為逼真的場景。

一個菜鳥畫家手中的畫筆擱在畫布上,想要畫出一幅絕美的夕陽落日,在平波如鏡的湖面上倒映著白雪皚皚的綿延山峰,只是最後看起來更像是摻雜著各種顏色的塗鴉。

一個由 NVIDIA Research 開發出的深度學習模型,恰好可以得到相反的結果:它用超簡單的方式,把粗糙不堪的塗鴉變成栩栩如生的精美佳作。這項工具利用生成對抗網路(GANs)將分割圖面換為極為寫實的影像。

這個使用深度學習模型的互動應用程序取名為 GauGAN,以向一名後印象派畫家致意。

後印象派畫家保羅.高更(Paul Gauguin)有多幅自畫像作品,包括這幅於1885年創作的作品,現由 Kimbell Art Museum 收藏(照片來自 Wikimedia Commons,取得於公眾領域使用授權)。

從建築師和城市規畫師,到景觀設計師和遊戲開發者,大家都能使用 GauGAN 這項強大工具來創造虛擬世界。在掌握實體環境外觀的人工智慧技術輔助下,這些專業人員可以更佳地提出各種雛形想法,並且快速變成一個合成場景。

NVIDIA 應用深度學習研究部門副總裁 Bryan Catanzaro 說:「簡單畫幾筆,對設計進行腦力激盪,這樣簡單多了,而且這項技術能將草圖變成極為逼真的影像。」

Catanzaro 將 GauGAN 背後的技術比作是「智慧畫筆」,可以把各種細節填入粗略分割的圖面,這些簡單畫出的輪廓圖顯示出場景中每個物體的位置。

GauGAN 讓用戶畫出自己的分割圖並操控場景,用沙子、天空、海洋或雪等標籤來標記每個部分。

使用一百萬張圖片進行訓練的這個深度學習模型,會在每個部分填入不同景色,創造出令人驚嘆的結果:畫一個池塘,附近的樹木和岩石等元素會在水面上出現倒影。把標籤從「草」改成「雪」,整個畫面搖身一變為冬季風情,原本綠意盎然的樹木變成光禿蕭瑟。

「這就像一張著色本裡的圖片,描述了樹木、太陽、天空的位置。神經網路便能按照它從實際圖片學到的內容,填入各種細節和紋理,還有倒影、陰影和顏色。」Catanzaro 說。

儘管對實體環境不甚瞭解,以生成器和鑑別器這個結構進行合作的 GANs,仍能產生出讓人心服口服的結果。生成器產生出要呈現給鑑別器的影像。而使用真實影像進行訓練的鑑別器,會按照每個像素的細膩程度,提出回饋來指導生成器如何提高合成影像的真實性。

使用真實影像進行訓練的鑑別器,知道真正的池塘和湖泊水面上會有倒影,生成器便學到要製作出令人信服的模仿內容。

用戶還能加入風格濾鏡,將產生出的影像變成特定畫家的風格,或是把日間場景變成黃昏的風景。

「這項技術不只把各種影像拼接起來,還可以切割和黏貼紋理。其實它合成出新的影像,很像是藝術家的作畫方式。」Catanzaro 說。

GauGAN 這個 app 是專注在陸地、海洋和天空等自然元素上,底下的神經網路一樣可以填入建築物、道路和人等其它風景特徵。

GauGAN 背後的研究報告將在六月份的 CVPR 大會上進行口頭報告,在五千多件提交的作品裡,僅有 5% 的作品能獲得這項殊榮。

本週 GPU 技術大會的與會者可在 NVIDIA 的展位,親自試用 GauGAN 互動演示內容。

a {
text-decoration: none;
}