NVIDIA (輝達) 首席科學家 Bill Dally 於 GTC China 線上大會主題演講中表示:「NVIDIA 的研究人員致力於打造速度更快的 AI 晶片,並將其用於具有更高頻寬的系統,從而簡化程式設計。」
他以三個項目為例,講述其帶領的 200 人研究團隊如何成功實現「黃氏定律 (Huang’s Law)」。這個以 NVIDIA 執行長黃仁勳命名的定律,預測 GPU 將推動人工智慧 (AI) 效能逐年翻倍。
曾負責 NVIDIA 在 AI、光線追蹤和高速互連領域相關研究的 Bill Dally 表示:「若我們想要提高電腦效能,黃氏定律就是一項重要指標,且在可預見的未來都將一直適用。」
超高效加速器
為實現此突破,NVIDIA 研究人員開發了一種名為 MAGNet 的工具,其生成的 AI 推論加速器在模擬測試中,能夠達到每瓦 100 tera ops 的推論能力,較現今的商用晶片高出一個數量級。MAGNet 採用了一系列全新技術來協調並控制通過設備的資訊流,最大限度地減少資料傳輸,而資料傳輸正是當今晶片中最耗能的環節。這一研究原型以模組化實現,因此能夠靈活擴展。另外,研究團隊亦開展了一項研究,旨在以更快速的光鏈結取代現有系統內的電氣鏈結。
發揮所有光子的潛能
Bill Dally 擁有 120 多項專利,在 2009 年加入 NVIDIA 前,曾擔任史丹佛大學 (Stanford University) 電腦科學系主任。Dally 表示「我們可以預見將 NVLink 的速度提高一倍、甚至再高一倍的方法,但最終電信號會消耗殆盡。」
該團隊正在與哥倫比亞大學 (Columbia University) 的研究人員密切合作,探討如何利用電信供應商在其核心網路中所採用的技術,將數十個訊號整合至一條光纖。這項名為「高密度分波多工」 (Dense Wavelength Division Multiplexing; DWDM) 的技術,將有機會在僅一毫米大小的晶片上實現 Tb/s 的傳輸速率,是如今互連密度的十倍以上。
除了更快的傳輸量,光鏈結也有助於打造更為密集型的系統。例如,Dally 展示了一個未來將搭載 160 多個 GPU 的 NVIDIA DGX 系統模型。
在軟體方面,NVIDIA 的研究人員開發了全新程式設計系統原型 Legate。開發者借助 Legate,即可針對單一 GPU 編寫程式,並在任何規模的系統上運行,甚至適用於如 Selene 等搭載數千個 GPU 的巨型超級電腦。
Legate 將一種全新的程式設計速記融入了加速軟體庫和名為 Legion 的先進運行時間環境,目前正在美國國家實驗室接受測試。
描繪美好未來
除上述三項研究,Dally 也在主題演講中談到了 NVIDIA 特別針對醫療保健、自動駕駛汽車和機器人等各產業所打造的平台。同時,他還致力於鑽研資料科學、AI 和繪圖處理。
Dally 表示:「經過幾代的努力,NVIDIA 的產品將透過基於物理渲染的路徑追蹤技術,即時生成令人驚豔的圖像,並能夠借助 AI 構建整個場景。」
此外,Dally 亦首次公開展示 NVIDIA 的對話式 AI 框架 Riva 與 GauGAN 的完美組合。GauGAN 是一種工具,利用生成對抗網路使簡單的構圖也能創建美麗的風景圖。在展示中,使用者可以透過語音指令,即時生成像照片一樣栩栩如生的畫作。欲瞭解 Riva/GauGAN 的展示,請參考 NVIDIA 開發者網頁。
在主題演講錄製的空檔,Dally 接受採訪並表示對研究團隊在多個領域取得的開創性進展深感自豪。Dally 表示:「NVIDIA 目前在光線追蹤領域所取得進展,皆始於 NVIDIA Research 所打造的原型,我們的產品團隊都很興奮。2011 年,我委派 NVIDIA 研究員 Bryan Catanzaro 與史丹佛大學教授 Andrew Ng 共同合作一個專案,後來打造出 CuDNN 軟體,讓大量的深度學習領域研究工作成為可能。」
立足網路領域
此外,Dally 率先展開一項合作,打造 NVLink 和 NVSwitch 最初的原型。如今,NVLink 和 NVSwitch 實現了全球最大型超級電腦中 GPU 的互連。
Dally 表示:「產品團隊總能迅速地將研究工作轉化為實際成果,這也是 NVIDIA 如今能夠成為全球領先的網路公司之一的原因。」
談及對科技的熱情,Dally 認為自己就像個沉浸在糖果故事裡的孩子。也許某一天,原本還在幫助一組團隊研究 AI 加速器的他,就會突然轉而幫助另一團隊解決機器人領域的複雜問題。
Dally 表示:「我現在所做的可以說是一項全世界或者全公司裡最有趣的工作,讓我有機會能夠協助塑造未來。」
除了主題演講之外,GTC China 線上大會也將提供 220 多場直播與預錄演講,所有演講皆可免費參加,且大多以中文進行。
GTC China 線上大會包含論壇及新創公司展示
緊接在主題演講之後,NVIDIA 的資深專家將共同分享中國市場如何採用 NVIDIA 在 AI、資料科學與醫療等領域的最新突破。
此外,針對 AI 和資料科學新創公司的加速計畫 NVIDIA Inception 將邀請 12 家中國領先的新創公司參加此活動。
許多領先的企業與組織皆參與其中,包含阿里巴巴、AWS、百度、字節跳動、中國電信、戴爾科技 (Dell Technologies)、滴滴、新華三、浪潮、快手、聯想 (Lenovo)、微軟 (Microsoft)、平安、騰訊、清華大學和小米。