何謂生成對抗網路? 聽聽頂尖研究員怎麼說

作者 Jamie Beckett

要是你還沒聽過「生成對抗網路」(Generative Adversarial Network,GAN)這幾個字的話,別擔心,你很快就會聽見。

深度學習領域最熱門的主題 GAN 一如其名,有機會打造出在減少人類幫助的情況下,學習更多知識的系統。

只要問問在2014年提出 GAN 概念的 Ian Goodfellow 就好。當時為蒙特婁大學博士生、現為 Google 研究科學家的 Goodfellow,上週在 GPU 科技大會對一群入迷忘神的聽眾們介紹 GAN 的研究成果及研究它的原因。

GAN 去除了推動人工智慧發展的最大阻礙之一,尤其是在推動深度學習方面,也就是需要大量人力的介入。

生成對抗網路:「過去十年間最有意思的想法」

 

人工智慧研究先驅,也是 Facebook 的人工智慧研究主管 Yann LeCun,稱 GAN 是「過去十年間在機器學習領域最有意思的想法。」

舉例來說,通常神經網路要先分析數萬張貓咪的照片,再從中學習如何辨識,可是這要人類仔細在每張照片上標示內容,這些照片才能用於訓練神經網路,而這是一項勞民傷財又耗時的工作。

警察 vs. 偽造者:GAN 大量刪減深度學習所需的資料量

 

GAN 大幅減少訓練深度學習演算法所需的資料量,解決了這個問題,且提供一套訓練深度學習演算法的獨特方法,也就是從現有資料建立加上標籤的資料(在多數情況下就是影像)。

研究人員並非訓練單一神經網路,而是訓練兩個相互競爭的神經網路。繼續以貓咪為例,生成器網路試著創作出看起來像真貓的假貓圖片,而判別器網路則是檢視貓咪圖片並試著判斷真假。

「可以把這個想像成警察和偽造者之間的角力,偽造者想要做出看起來像是真的的偽幣,而警察則是要從任何特別的紙鈔中判斷真偽。」Goodfellow 說。

 

弄假成真之際:相互較勁的神經網路

兩個切磋的網路相互從中學習,一個努力找出偽造的圖片,另一個則是在製作出難辨真偽的圖片方面,功力更為進步。

NVIDIA 創辦人暨執行長黃仁勳在他的 GTC 主題演講裡稱 GAN 為一項「突破性的發展」,拿製作藝術贗品的人試著冒充畢卡索畫作的限制,企圖製作出真跡般畫作的過程來對照。

「在經過訓練後,這個神經網路能畫出跟畢卡索一樣風格的作品,而另一個神經網路則能以前所未聞的鑒別能力來辨識影像和畫作。」他說。

這對於醫學等因隱私考量而無法獲得大量資料的領域來說尤為重要,GAN 可以填補缺失的資料,全面編造出病患資料,在真實度上能用來訓練人工智慧。

「你不會想要患者一而再再而三地接受測試,而是想要進行幾次測試後,就能產生出更多資料。」Goodfellow 說。

馬怎麼會變成斑馬

 

GAN 還有著藝術天份。

想畫畫又沒有天份嗎? 你可以使用一套由加州大學柏克萊分校研究人員發展出的 GAN,隨手粗略畫出草圖、挑選顏色,它立即將你潦草的塗鴉變成畫作。

這支研究團隊裡的博士候選人 Jun-Yan Zhu展示如何使用 GAN將一張圖片裡的馬變成斑馬、橘子變成蘋果、梵谷變成塞尚。

GAN 還會將低解析度的圖片產生出高解析度的圖片、將航空圖變成照片,以便進行各種合成加工。

「你可以進行各種加工,像是改變唇色或髮型等臉上的各種特徵,但依舊能保證它還是一張顏色非常銳利、真實度又極高的臉孔。」Goodfellow 說

GAN 的挑戰仍然未減

Goodfellow 說還需要對生成對抗網路進行更多研究,才能充分發揮所長。偶爾產生出的影像看起來相似度不高,加上 GAN 還無法產生出複雜的資料。

「我們非常擅長於製作出能生成某類影像的 GAN,難就難在製作出能畫出狗、貓、馬和世界上各種影像的 GAN。」

如需更多 GAN 運作方式的技術資訊,請見我們的 Parallel for All 部落格上《Photo Editing with Generative Adversarial Networks》一文。