NVIDIA TensorRT 7 的編譯器能夠做到即時推論創造出更聰明的人類與人工智慧互動

作者 pressrelease

NVIDIA 今日發表一項極具開創性的推論軟體,讓全球各地的開發人員都可以用它來製作對話式人工智慧應用程式,大幅縮短了推論時間上的延遲情況,而至今這種延遲情況仍持續不利於創造出真正的互動式參與。
NVIDIA TensorRT 7 是 NVIDIA 的第七代推論軟體開發套件產品,為人類與人工智慧更聰明的互動開啟了大門,讓人們能夠即時與語音助理、聊天機器人及推薦引擎等應用程式進行互動。
據市場調研機構 Juniper Research 估算,全球各項裝置中使用了 32.5 億個數位語音助理。到 2023 年時,此一數字預計將達到八十億,超過全球人口總量。
TensorRT 7 具備嶄新的深度學習編譯器,用於自動優化與加速日益複雜的人工智慧語音應用遞歸神經網路和變體(transformer)神經網路。與在 CPU 上運行時的速度相比,TensorRT 7 使得對話式人工智慧元件的運行速度提高十倍以上,將延遲情況降到即時互動所需的 300 毫秒閾值以下。
NVIDIA 創辦人暨執行長黃仁勳在 GTC China 大會主題演講中表示:「我們已經進入了人工智慧新的篇章,機器能夠即時理解人類語言。TensorRT 7 幫助做到了這一點,為各地的開發人員提供一項強大的工具,開發與部署速度更快、也更聰明的對話式人工智慧服務,以便讓人類與人工智慧間有著更自然的互動。」
部分全球規模最為龐大、最具創新性的公司早就採用 NVIDIA 的對話式人工智慧加速功能。提供搜尋服務給微信的搜狗就是其中之一,微信是世界上使用最頻繁的手機應用程式。
搜狗技術長楊洪濤表示:「搜狗每天為數億名用戶提供語音、影像、翻譯、對話和問答等優質的人工智慧服務。使用 NVIDIA TensorRT 推論平台,我們可以做到即時線上服務應答。這些領先的人工智慧功能顯著提升了我們的用戶體驗。」

遞歸神經網路的重要性不斷提升

TensorRT 7 加快了不斷增長之人工智慧模型的運行速度,這些模型被用於預測使用遞歸迴圈結構(稱為遞歸神經網路)的時間序列、序列資料場景。除了用於對話式人工智慧語音神經網路,遞歸神經網路還能用於規畫車輛或衛星的到達時間、預測電子病歷中的事件、預測金融資產及偵測詐騙行為。
遞歸神經網路的配置和函數組合出現激增狀態,對於快速部署滿足即時性能標準的正式生產用程式碼造成不小的壓力,開發人員在對手寫程式碼進行優化之際,會造成長達數月的延遲。因此僅限擁有必要人才的極少數公司方能使用對話式人工智慧。
各地的開發人員透過 TensorRT 新的深度學習編譯器,現在都有能力自動優化這些神經網路,像是客製化的自動語音辨識神經網路,還有文字轉語音的 WaveRNN 和 Tacotron 2,提供最佳的效能及最低的延遲性。
新的編譯器還優化了自然語言處理 BERT 這一類變體神經網路模型。

從邊緣到雲端加快推論速度

TensorRT 7 可以快速優化、驗證和部署經過訓練的神經網路,以便超大規模資料中心、嵌入式或汽車 GPU 平台進行推論作業。
除了對話式人工智慧應用程式,NVIDIA 的推論平台(包括 TensorRT 及多個 NVIDIA CUDA-X AI 函式庫和 NVIDIA GPU)也為其它的應用程式提供低延遲、高處理量的推論服務,包括影像分類、詐騙檢測、分割、物體偵測和推薦引擎。包括阿里巴巴、美國運通、百度、PayPal、Pinterest、Snap、騰訊與 Twitter 在內,部分全球頂尖企業及消費性科技公司廣泛採用 NVIDIA 推論平台的功能。

出貨時程

NVIDIA 開發人員計畫的成員可在未來幾天內,透過 TensorRT 網頁免費取得用於開發和部署的 TensorRT 7。也可以從 TensorRT GitHub 儲存庫以開放源碼的方式取得最新版本的外掛程式、解析器和範例。

掌握 NVIDIA 最新動態

請訂閱 NVIDIA 官方部落格或追蹤 FacebookTwitterLinkedInInstagram。瀏覽 NVIDIA 相關影片及圖片,請至 YouTubeFlickr

關於 NVIDIA (輝達)

NVIDIA (輝達)自 1999 年發明 GPU 起,成功促進 PC 電競市場的成長並重新定義現代電腦顯示卡產品,掀起電腦平行運算革命。近年來 GPU 深度學習也促發被視為下一個運算時代的人工智慧,透過 GPU 以類人腦方式運作於電腦、機器人與自駕車等,來感知並解讀真實世界。欲瞭解更多資訊,請瀏覽 https://blogs.nvidia.com.tw/

新聞聯絡人

NVIDIA
亞太資深公關經理 杜佳祐
電話:(02)6605-5856, 0987352414
傳真:(02)8751-1809
E-mail: Melody Tu
世紀奧美公關顧問
黃晨瑀/林欣怡/詹淑君
電話:(02) 2577-2100
分機 826/817/807
傳真:(02) 2577-1600
行動電話: 0931309553/0916788690/0975251507
E-mail: Bonnie Huang/ Andrea Lin/ Shirley Chan

本新聞稿可能包含 NVIDIA 根據目前預期所做出的前瞻性聲明;NVIDIA TensorRT 7與 NVIDIA 推論平台的優點、影響和出貨時程;全球數位語音助手的估算數量及其預期增長;進入人工智慧新的篇章,機器能夠即時理解人類語言;遞歸神經網路配置和函式組合激增的影響性。這些前瞻性聲明包含可能導致實質結果與預期不符之風險與不確定因素。多項重要因素可能導致實際結果與前瞻性聲明所示之結果出現重大差異,所及範圍有全球經濟情況、我們的產品借重第三方協力廠商之製造、組合、封裝和測試之部分;技術發展和市場競爭之影響;新產品或技術之發展或我們現有產品與技術之提升;市場接受我們的產品或合作夥伴產品的程度;設計、製造或軟體的缺失;消費者偏好或需求之改變;業界標準和介面之改變;整合到系統後無法預期的產品或效能降低之技術缺失;以及我們定期提交給美國證券交易委員會(SEC)以 Form 10-Q 報告附本為基礎的Form 10-K財務季度等其他詳細因素。NVIDIA 在公司官方網站上免費提供定期提交給 SEC 的報告之副本。這些前瞻性聲明不保證未來的效能,只陳述目前的狀態,除非法律規定,否則 NVIDIA 沒有意願或義務更新或修改任何前瞻性聲明。

©本文為 NVIDIA 公司 2019 版權所有並保留所有權利。NVIDIA、NVIDIA 標誌、CUDA-X AI 和 TensorRT 是 NVIDIA 公司在美國及其他地區的商標及(或)註冊商標。所有其他公司及產品名稱乃為所屬個別公司之商標。功能、定價、出貨時程和規格之變更不會另行通知。