NVIDIA 的研究人員並不是魔術師，不過在看到 NVIDIA 創辦人暨執行長黃仁勳今日於聖荷西舉行的 GPU 科技大會上，發表之主題演講所提到的各項成果後，你或許會有這個念頭。
黃仁勳提出兩項或許有望顛覆傳統電腦圖形領域的深度學習發現成果，兩者都能幫助遊戲開發商在更短時間內，以更低成本去創造更豐富的體驗；其中一項能輕鬆建立資料，在多種路況、地貌和位置的環境裡訓練車輛，從而加快自動駕駛車領域的發展。
這兩項研究案證明了我們如何將在深度學習方面的專長，與在電腦圖形方面悠久的發展歷史兩相結合，以推動產業前行。擁有200人的 NVIDIA Research 團隊遍布全球11個地區，致力於推動機器學習、電腦視覺、自動駕駛車、機器人、圖形、電腦架構、編程系統和其它領域的技術發展。
黃仁勳說：「這個單位的生產力太強大了，他們對整個運算領域都從最根本的地方進行基礎研究。」
這裡的兩張圖片是對同一張充滿噪點的照片進行去噪作業後，所獲得的乾淨畫面。左側的照片是使用相對應的乾淨和有噪點的照片來訓練一套神經網路後，再由神經網路進行去噪作業；而研究人員使用只透過有噪點的照片來訓練之神經網路模型進行去噪作業，獲得右側的照片。
清理充滿噪點的照片
你或許不清楚什麼是「充滿噪點的照片」，不過可能你已經拍出了一張「充滿噪點的照片」。你將相機對準光線昏暗的場景，照片就會出現斑駁的顆粒狀雜色斑點，或是稱為「螢火蟲」的白色斑點。
普通的人工智慧去噪作業，得有乾淨和充滿噪點的影像進行比對，可是 MRI 及其它醫學影像技術無法獲取乾淨的影像。使用 Noise2Noise 時，便無需使用清晰的影像。
要去掉照片裡的噪點是件大工程，過程本身可能會加入人工修改的痕跡或變得模糊。深度學習實驗提出了解決方案，但也有一個重大缺點：得有乾淨和充滿噪點的照片，在比對的情況下訓練神經網路。
只要手邊有好照片，上述方法就沒問題，只是要拿到好照片很難，甚至是不可能，而 NVIDIA 在芬蘭和瑞典的研究人員為此開發出稱為 Noise2Noise 解決方案。
丟垃圾進來，產生出垃圾？不會再有這種情況
對於醫學影像檢測法（像是 MRI，還有遙遠恆星或行星的天文照片）來說，拍攝的時間和光線太少，並不容易產生出乾淨的影像。
時間也是電腦圖形方面的一大問題。光是要生出乾淨的影像，就要花上幾天或幾週的時間來訓練降噪器。
你第一次聽到 Noise2Noise 的時候，會覺得這是不可能的事。它不是使用能對照的乾淨和充滿噪點的影像來訓練神經網路，而是使用能對照的充滿噪點的影像來訓練，並且只有使用充滿噪點的影像，不過 Noise2Noise 產生出的結果等於或幾乎等於以傳統方法訓練出的神經網路能達到的效果。
「我們發現只要正確設定神經網路，就能要求它做一些不可能的事情。要到明白整個事的過程，才會知道這是一個令人非常驚訝的結果。」我們的研究部門副總裁 David Luebke 說。
並非兒戲
黃仁勳介紹的第二個案子，便是建立虛擬世界的全新方式。這個案子使用深度學習，從建立遊戲 3D 模型那麼繁瑣又耗時耗力的工作裡獲取不少成果，以及取得自動駕駛車的訓練資料。
這項稱為「語義操作」（semantic manipulation）的技術就像是樂高積木，孩子們可以把它們組合在一起，打造出從噴射機到龍的各種東西。
在使用語義處理技術時，用戶從一張標籤圖（相當於一個場景裡各像素的標籤藍圖）開始，切換圖上的標籤便會更改圖片；還能編輯物件樣式，例如選擇不同類型的汽車、樹木或道路。
NVIDIA 研究人員推出有著深度學習支援的圖像合成技術，可以在修改語義標籤的情況下，變更街道的外觀。
艱苦的賽事
研究團隊的方法靠著生成對抗網絡（GAN）這項深度學習技術，通常在缺乏資料時會用於建立訓練資料。
GAN 通常難以產生出逼真的高解析度圖像，NVIDIA 的研究人員卻能以一種可行的方式來改變 GAN 架構。
現在為電腦遊戲建立虛擬環境，藝術家們要用上數千小時的時間來建立和修改模型，每個遊戲的花費甚至多達一億美元，再運用渲染技術將這些模型變成在螢幕上看到的遊戲畫面。
減少遊戲藝術家和工作室的工作量，可以讓他們能創造出更多有著複雜角色和故事情節的遊戲。
從舊金山到巴塞隆納：無需飛行便可到達
取得資料來訓練自動駕助車，也是一件麻煩事，通常得讓一堆安裝著感應器及攝影機的車輛實際上路後才能做到。汽車收集到的資料必須手動加上標籤，並且用於訓練自動駕駛車。
研究團隊的方法可以從像是舊金山這個城市收集到的資料，用在巴塞隆納等另一個有著丘陵地形的城市，或者將一條鵝卵石街道變成一條鋪有人行道的街道；又或者是把一條綠樹成蔭的街道，變成一條停放著車輛的街道。
此舉可以更有效率地訓練車輛來處理各種情況，還可能生出一個使用真實世界的資料進行訓練，並且使用生成模型進行渲染的圖形渲染引擎。
「我對 NVIDIA 研究團隊的表現感到自豪不已。我們不斷成長茁壯，跟我們聯絡，我們很樂意與你合作。」黃仁勳說。
如需更多關於我們的研究團隊如何為圖形處理領域帶來革命性發展的相關資訊，請見以下列出的報告，或閱讀《全新遊戲：NVIDIA Research 部門將人工智慧用於電腦圖形領域，NVIDIA Research Brings AI to Graphics》及《NVIDIA 研究團隊在 NIPS 展出深度學習領域重大進展，NVIDIA Researchers Showcase Major Advances in Deep Learning at NIPS》等相關文章。
- High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANS – 將於6月份在CVPR 2018進行口頭報告。