高效能運算加快人工智慧領域的發展腳步

作者 Crowd Favorite

編輯手札:於德國法蘭克福舉行的 ISC 大會中,百度首席科學家吳恩達(Andrew Ng)將進行主題演講活動,而百度矽谷人工智慧實驗室研究科學家 Bryan Catanzaro 將參加分析師火線座談活動。

從搜尋到服務,百度的多項重量級產品皆有使用到人工智慧技術,有愈來愈多人使用語音辨識功能,自然語言處理用於解答用戶的疑難雜症,而影像辨識則是提供更直覺的搜尋結果。人工智慧技術改變了網路公司的發展前景,無庸置疑。 我們覺得人工智慧革命也會改變從交通到醫療等多個產業的發展面貌。

學界研究人工智慧領域已有數十個年頭,你或許會問:「什麼因素或條件改變了,讓人工智慧現在有著這麼多的用途?」答案:結合如今形成的海量資料(拜社會數位化所賜)與強大的運算資源,使得人工智慧領域出現突飛猛進的進展。

這些資料就像是火箭燃料,而深度神經網路模型就是火箭的引擎。在具備較過往更豐富的資料的情況下,便能建造有著更龐大引擎的巨型火箭,帶著我們飛向嶄新領域。

百度的語音辨識研究成果,顯示出在使用多十倍資料,大幅降低字詞錯誤率(WER)的情況。
百度的語音辨識研究成果,顯示出在使用多十倍資料,大幅降低
字詞錯誤率(WER)的情況。

舉例來說,我們在語音辨識方面的研究指出,使用多十倍資料,便能將相關的錯誤率降低 40%1。找出如何使用海量資料來訓練模型,是人工智慧領域有所進展的關鍵因素之一。

隨著資料量增加,用於訓練模型的高效能運算(HPC)的重要性也隨之提高。目前訓練其中一個語音辨識模型要進行 20 exaflops(百萬兆次)數學運算作業,而且這個數字還在不斷增加中。

我們能夠快速反覆操作資料和模型相關問題,跟人工智慧領域的進步有著直接關係,這代表運用 GPU 等密集運算導向的處理器,以及與高頻寬、低延遲性的連接裝置互連,這些來自 HPC 的想法都對人工智慧領域的未來發展有著重要關係。

我們一直在找增強神經網路訓練過程的新方法,像是下週百度的 Greg Diamos 便要在國際機器學習大會發表「持久性循環神經網路(RNNs)」相關報告2 。持久性 RNNs 將訓練小批次規模 RNNs 的時間加快了30倍,此舉增加了強標度並行的情況,也減少了消耗的記憶體,讓我們能訓練更深層的模型。

待訓練好正確的模型,下一步就是進行部署:找出如何提供大型神經網路服務給用戶的方法。我們已經開發出一項名為 Batch Dispatch 的技術,在單一 GPU 上就能提供互動式應用程式的服務給七倍的用戶量,而且還能降低延遲情況,讓更多用戶享受到先進人工智慧技術的優點。

人工智慧這項超棒的工具能協助人們創造出令人驚喜的應用項目。儘管近期人工智慧領域出現重大進展,前方仍有許多有待開發的機會,包括精準農業、消費金融和醫藥,人工智慧將會對這些領域有著重大影響。最好的尚未到來。

(1) https://arxiv.org/abs/1512.02595

(2) https://jmlr.org/proceedings/papers/v48/diamos16.pdf