加州大學柏克萊分校、Dalle Molle 人工智慧研究所（IDSIA）、東京大學在國際機器學習大會（ICML）呈現在 DGX-1 超級電腦助力下，人工智慧研究領域的最新進展。
無論是在研究實驗室裡協助神經網路取得學習方法，或是使用偽標記資料讓它們運作，使得深度學習與人工智慧領域出現不少進展。
加州大學柏克萊分校、瑞士 IDSIA 實驗室及東京大學的研究團隊使用 DGX-1 超級電腦，將其深度學習研究活動提升到新的高度。
本週參加雪梨國際機器學習大會（ICML）的嘉賓，將有機會聆聽這三個 NVAIL 合作夥伴分享他們的研究心得。
教導人工智慧如何學習
想像一下要是機器人和其它人工智慧裝置能像人類一樣學習，會是什麼情況，而那正是 NVAIL 合作夥伴加州大學柏克萊分校的助理教授 Sergey Levine 及其學生，想要做出成果的事情。
Levine 的團隊教導深度神經網路取得學習方法，想要協助智慧型代理能加快學習速度及減少訓練份量。
「看看人類是怎麼做的。我們並非完全從頭開始學習事情，而是汲取過去的經驗來快速學習新的技能，所以我們嘗試讓學習演算法也這麼做。」加州大學柏克萊分校電機工程暨電腦科學系助理教授 Levine 說。
搭載最新人工智慧技術的機器人得一再嘗試事情，以學習如何對刺激物做出最佳回應。Levine 的想法是讓機器人在不用重複執行的情況下進行學習，不只讓機器人更具適應能力，也讓它們能學習更多內容。
「如果機器人能從少上一千倍的經驗裡習得一項技能，它就能在得用於學習單一技能的相同時間量裡學到一千項技能。我們不可能造出不會犯錯的機器，但能試著造出迅速從錯誤中學習，且不會再犯錯的機器。」Levine 說。
Levine 及其團隊使用 NVIDIA DGX-1 系統來訓練演算法怎麼納入動作和視覺感知內容。在加州大學柏克萊分校師從 Levine 及 Pieter Abbeel 的博士生 Chelsea Finn，將出席 ICML 對這項研究進行報告。Levine 與 Finn 亦將提供《Deep Reinforcement Learning, Decision Making, and Control》輔導課程。
NVIDIA DGX-1 將成為重要研究工具，供全球頂尖人工智慧研究團隊使用。
通往更深層學習的路徑
遞歸神經網路與長短期記憶（LSTM）這個威力十足的組合，成為手寫和語音辨識研究者的好幫手。
遞歸神經網路跟會自動將每項運算推到下一步的前饋網路不同之處，在於它會利用內部記憶體來處理任意數據（像是不同發音或手寫差異），使用先前的決定和當前的刺激物，在運作中進行學習。
即便如此遞歸神經網路還是有著缺點：愈是深入神經網路，就變得愈難用，讓深度學習的速度變慢。瑞士人工智慧實驗室和 NVAIL 合作夥伴 IDSIA 的研究團隊卻覺得他們找出了答案：遞歸高速神經網路。
「直到現在，在序向轉移裡，就算是訓練兩層的遞歸神經網路也極為不易；在使用遞歸高速網路的情況下，可以在遞歸轉移裡訓練十層的遞歸神經網路。」IDSIA 的人工智慧研究員，也是將在 ICML 發表之研究報告的共同作者Rupesh Srivastava 說。
Srivastava 表示這項進步能夠建立更多執行序向處理工作的高效率模型，還能使用更複雜的模型。
「這些早期實驗結果代表我們未來無需訓練巨大模型，便可應付更複雜的工作。」他說。
Srivastava 的團隊使用 NVIDIA Tesla K40、K80、TITAN X 及 GeForce GTX 1080 等多種 GPU 來加快訓練速度，再搭配 CUDA 和 cuDNN 進行深度學習作業。但在出現 DGX-1 人工智慧超級電腦後，他說：「大幅加快實驗周期的速度，實驗室裡所有案子的進度都變快了。」
他說他對於使用 DGX-1 加快平行訓練遞歸神經網路模型的速度前景看好，而且感到興奮不已。最終他希望遞歸高速網路能引導至更佳的強化學習。
最起碼這項研究活動有助於讓深度學習模型更深入。
Srivastava 說：「這是一項重要的發展，以不同方式運用深度學習模型帶來的效率，是深度學習的基礎。」
深度學習的變形
深度學習並非總是一項井井有條的作業，在訓練模型執行一個大規模的語音辨識作業時，必須將背景雜音或腔調等變數列入考慮。
人工智慧技術從這項稱為領域適應性（DA）的概念裡取得智慧。在訓練實驗室簡單的環境裡，要發揮智慧是件容易的事；而在未受監督和無法預測的真實世界裡，要表現出聰明才智就是另一回事了。
東京大學的研究團隊認為他們開發出一項方法，利用 DGX-1 的運算實力，將「偽標籤」加在目標領域裡無標籤的資料上，能克服非監督式領域適應性多項難題。
這使得在無需訓練新模型的情況下，深度學習模型便能將從來源領域學習到的內容（像是對書籍評語進行分類的能力），用在電影評語等另一個目標領域。
東京大學的研究團隊為此提出稱為「非對稱式三體訓練」（asymmetric tri-training）的概念，指派不同角色給三個分類器和使用三個獨立神經網路，其中兩個神經網路用於對無標記的目標樣本加上標籤，並使用有著偽標記的目標樣本對第三個神經網路進行訓練。到目前為止獲得令人振奮的結果。
東京大學大學院情報理工學系研究科的原田達也教授說：「從一個簡單或人造領域裡轉移知識到另一個多元或真實領域裡，是一個實際又具有挑戰性的難題。我們認為這項方法對於落實從簡單到多元領域之適應性來說是一大進步。」
原田教授是本週將在 ICML 大會上發表之研究報告的作者之一。「非對稱式三體訓練」是一項複雜又棘手的研究工作，原田教授表示可能得採取平行處理的方式才能發揮這項技術的潛力。他希望分享這項研究成果，能更快有所進展。
「融合深度學習與偽標記的研究還在進行中，我們希望自己的研究能激發出更多此類的研究活動。」他說。
在雪梨舉行的 ICML 大會，將持續到本週五為止。