NVIDIA TensorRT 7 的編譯器能夠做到即時推論創造出更聰明的人類與人工智慧互動

NVIDIA 今日發表一項極具開創性的推論軟體，讓全球各地的開發人員都可以用它來製作對話式人工智慧應用程式，大幅縮短了推論時間上的延遲情況，而至今這種延遲情況仍持續不利於創造出真正的互動式參與。

NVIDIA TensorRT^™ 7 是 NVIDIA 的第七代推論軟體開發套件產品，為人類與人工智慧更聰明的互動開啟了大門，讓人們能夠即時與語音助理、聊天機器人及推薦引擎等應用程式進行互動。

據市場調研機構 Juniper Research 估算，全球各項裝置中使用了 32.5 億個數位語音助理。到 2023 年時，此一數字預計將達到八十億，超過全球人口總量。

TensorRT 7 具備嶄新的深度學習編譯器，用於自動優化與加速日益複雜的人工智慧語音應用遞歸神經網路和變體（transformer）神經網路。與在 CPU 上運行時的速度相比，TensorRT 7 使得對話式人工智慧元件的運行速度提高十倍以上，將延遲情況降到即時互動所需的 300 毫秒閾值以下。

NVIDIA 創辦人暨執行長黃仁勳在 GTC China 大會主題演講中表示：「我們已經進入了人工智慧新的篇章，機器能夠即時理解人類語言。TensorRT 7 幫助做到了這一點，為各地的開發人員提供一項強大的工具，開發與部署速度更快、也更聰明的對話式人工智慧服務，以便讓人類與人工智慧間有著更自然的互動。」

部分全球規模最為龐大、最具創新性的公司早就採用 NVIDIA 的對話式人工智慧加速功能。提供搜尋服務給微信的搜狗就是其中之一，微信是世界上使用最頻繁的手機應用程式。

搜狗技術長楊洪濤表示：「搜狗每天為數億名用戶提供語音、影像、翻譯、對話和問答等優質的人工智慧服務。使用 NVIDIA TensorRT 推論平台，我們可以做到即時線上服務應答。這些領先的人工智慧功能顯著提升了我們的用戶體驗。」

遞歸神經網路的重要性不斷提升

TensorRT 7 加快了不斷增長之人工智慧模型的運行速度，這些模型被用於預測使用遞歸迴圈結構（稱為遞歸神經網路）的時間序列、序列資料場景。除了用於對話式人工智慧語音神經網路，遞歸神經網路還能用於規畫車輛或衛星的到達時間、預測電子病歷中的事件、預測金融資產及偵測詐騙行為。

遞歸神經網路的配置和函數組合出現激增狀態，對於快速部署滿足即時性能標準的正式生產用程式碼造成不小的壓力，開發人員在對手寫程式碼進行優化之際，會造成長達數月的延遲。因此僅限擁有必要人才的極少數公司方能使用對話式人工智慧。

各地的開發人員透過 TensorRT 新的深度學習編譯器，現在都有能力自動優化這些神經網路，像是客製化的自動語音辨識神經網路，還有文字轉語音的 WaveRNN 和 Tacotron 2，提供最佳的效能及最低的延遲性。

新的編譯器還優化了自然語言處理 BERT 這一類變體神經網路模型。

從邊緣到雲端加快推論速度

TensorRT 7 可以快速優化、驗證和部署經過訓練的神經網路，以便超大規模資料中心、嵌入式或汽車 GPU 平台進行推論作業。

除了對話式人工智慧應用程式，NVIDIA 的推論平台（包括 TensorRT 及多個 NVIDIA CUDA-X AI^™ 函式庫和 NVIDIA GPU）也為其它的應用程式提供低延遲、高處理量的推論服務，包括影像分類、詐騙檢測、分割、物體偵測和推薦引擎。包括阿里巴巴、美國運通、百度、PayPal、Pinterest、Snap、騰訊與 Twitter 在內，部分全球頂尖企業及消費性科技公司廣泛採用 NVIDIA 推論平台的功能。

出貨時程

NVIDIA 開發人員計畫的成員可在未來幾天內，透過 TensorRT 網頁免費取得用於開發和部署的 TensorRT 7。也可以從 TensorRT GitHub 儲存庫以開放源碼的方式取得最新版本的外掛程式、解析器和範例。