加快推論速度，讓經過訓練的神經網路能更快做出決定和預測內容，成為人工智慧研究領域的一項熱門主題。
這一點也不讓人感到意外，快速堅定的主觀判斷會獲得相當大的利益，擅於此道的人們常會在職場裡攀上高峰。
想想金融交易員以「大膽」的直覺做出賺錢的交易，或者是網球員能掌握對手的每個動作。他們不只聰明有腦，而且動作飛快。
現在想想讓這些專家身懷超越人類的執行速度。
在本週舉行的電腦視覺與圖形辨識（CVPR）大會裡，NVIDIA 展示一個NVIDIA DGX Station運行 NVIDIA TensorRT 的 推論演示，僅僅使用 DGX Station 四張 Tesla V100s 中的一張顯卡，在執行尋常推論作業時，速度較未搭載 GPU 之系統的速度快上百倍。
在這支影片裡，僅搭載 CPU 的 Intel Skylake 架構系統（左側）使用一套 Resnet-152 經訓練的分類神經網路，每秒可分類出五張花朵圖片，這個速度已超越人類的能力。
相較之下，單個 V100 GPU（右側）每秒可分類出527張花朵圖片，在不到7毫秒的延遲時間裡便傳回結果，這真是令人嘖嘖稱奇的速度。
執行效能加快百倍著實讓人刮目相看，但這只是方程式的一半內容罷了。想要達到如此的快速效能，要花費什麼代價？NVIDIA 所謂的「光速」又是指什麼？
動作更快代表更少的成本。一套搭載 NVIDIA GPU 的系統跟100套只搭載 CPU 的系統，兩邊做著相同工作，代表要租賃或購買的雲端伺服器數量可以減少百倍。
隱藏成本：延遲成本
Wrnch 執行長暨創辦人 Paul Kruszeski 說，在比較 CPU 與 GPU 執行推論作業的表現時，延遲成本是另一個要考慮的重要因素。Wrnch 是參與 NVIDIA Inception 計畫的成員，且獲得馬克．庫班（Mark Cuban）支持的新創公司。
Wrnch 以 NVIDIA GPUs 及 NVIDIA TensorRT 推論優化器和運行時間
（influence optimizer and runtime）當成該公司剛發表之 BodySLAM AI 引擎的基礎。這具引擎會即時為互動式兒童玩具的應用程式讀取肢體語言。
「要是我只用 CPU 來跑應用程式，孩子們得等個一分半鐘，才能獲得三秒鐘的笑聲。一分半鐘對於孩子來說，就像是得無止盡地等下去。」Kruszeski 說。
如需更多 NVIDIA DGX Station 搭配 Tesla V100 GPU 加速器的資訊，請至 www.nvidia.com/dgx-station。
NVIDIA 開發者計畫成員可免費下載 NVIDIA TensorRT，以加快在資料中心、汽車、機器人、無人機及其它尖端裝置裡，使用 NVIDIA GPU 進行人工智慧推論作業的速度。如需更多資訊，請至 https://developer.nvidia.com/tensorrt。