NVIDIA 宣布針對 Triton 推論伺服器進行重大更新，全球超過 25,000 間企業部署 NVIDIA AI 推論服務

NVIDIA (輝達) 今天宣布針對旗下人工智慧 (AI) 推論平台推出重大更新，目前已有 Capital One、微軟 (Microsoft)、Samsung Medison、西門子能源 (Siemens Energy) 及 Snap 等超過 25,000 個客戶採用此推論平台。

這次的更新內容包含開放原始碼 NVIDIA Triton 推論伺服器^™ 軟體的全新功能，可在所有 AI 模型及框架上提供跨平台推論，以及可最佳化 AI 模型的 NVIDIA TensorRT^™，為 NVIDIA GPU 上的高效能推論提供執行環境 (runtime)。

NVIDIA 亦推出 NVIDIA A2 Tensor 核心 GPU，這是一款用於邊緣 AI 推論的低功耗、小尺寸加速器，其推論效能較 CPU 高 20 倍。

NVIDIA 副總裁暨加速運算部門總經理 Ian Buck 表示：「NVIDIA 的 AI 推論平台正在推動各個產業的突破性發展，包括醫療、金融服務、零售、製造及超級運算…等。無論是提供更智慧的推薦、利用對話式 AI 的強大力量，還是推進科學發現，NVIDIA 的推論平台都能提供低延遲、高處理量、多功能的效能，以及更易於推動全球重大嶄新 AI 應用項目所需的助力。」

關鍵軟體最佳化

Triton 推論伺服器的更新項目包含：

• Triton 模型分析器：這項全新工具會從數百種可能性中，為 AI 模型挑選最佳配置並自動執行關鍵的最佳化任務。在達到最佳效能的同時，確保應用程式所需的服務品質。
• 多 GPU 多節點功能：這項全新功能讓 Megatron 530B 等基於 Transformer 的大型語言模型，不再用於單一 GPU 中，將可在跨多個 GPU 和伺服器節點中進行推論，並提供即時推論效能。
• RAPIDS FIL：這個用於隨機森林 (random forest) 和梯度提升 (gradient-boosted) 決策樹模型的 GPU 或 CPU 推論全新後端程式，提供一個統一的部署引擎給開發人員，以使用 Triton 進行深度學習和傳統機器學習。
• Amazon SageMaker 整合：客戶可以透過這項無縫整合功能，在 AWS 完全託管的 AI 服務 SageMaker 中，使用 Triton 輕鬆部署高效能的多框架模型。
• 支援 Arm CPU：除了 NVIDIA GPU 和 x86 CPU，Triton 現在亦加入用於最佳化 Arm CPU 上 AI 推論作業負載的後端程式。

Triton 在雲端、資料中心、企業邊緣及嵌入式裝置的 GPU 和 CPU 上提供 AI 推論服務，並整合納入 AWS、Google Cloud、Microsoft Azure 和阿里雲 PAI-EAS 中，並包含在 NVIDIA AI Enterprise 中。

NVIDIA AI Enterprise 是用於開發和部署 AI 的端到端軟體套件。NVIDIA 對其完成最佳化、認證和支援後，客戶將能在本地資料中心和私有雲的主流伺服器中運行 AI 作業負載。

除了 Triton，TensorRT 現在也整合了 TensorFlow 和 PyTorch，只要一行程式碼就能提供較在框架內進行推論快上三倍的效能。開發人員將能享受 TensorRT 的強大功能，並大幅簡化工作流程。

NVIDIA TensorRT 8.2 版本是最新的軟體開發套件 (SDK)，可加速進行高效能、深度學習推論，並在雲端、本地端或邊緣提供高處理量和低延遲的特性。透過全新的最佳化內容，將能即時運行有著數十億個參數的語言模型。

產業領導者採用 NVIDIA AI 推論平台

產業領導者正透過採用 NVIDIA AI 推論平台來改善其業務營運，並為客戶提供全新的 AI 服務。

Microsoft Azure 認知服務為高品質 AI 模型提供以雲端為基礎的 API，藉以打造智慧應用程式。其使用 Triton 運行語音到文字的模型，為 Microsoft Teams 的用戶提供精準的即時字幕和轉錄功能。

微軟 Teams 應用程式通話、會議與裝置首席專案經理 Shalendra Chhabra 表示：「Microsoft Teams 是全球人士進行通訊與協作的重要工具，每月擁有近 2.5 億活躍用戶。像這樣的 AI 模型規模極為複雜，需要數千萬個神經網路參數，才能在數十種語言中提供準確的結果。當模型越大，就越難即時以具成本效益的方式運行。Microsoft Azure 認知服務上的 NVIDIA GPU 與 Triton 推論伺服器，以具成本效益且近乎即時的方式發揮 AI 優勢，提升 28 種語言和方言的即時字幕和轉錄功能。」

三星集團旗下的全球醫療設備公司 Samsung Medison 運用 NVIDIA TensorRT，在其超音波系統中搭配智慧輔助功能來提高醫療影像品質。Samsung Medison 致力於讓患者與醫護專業人員擁有更舒適的環境、更快的掃描時間、簡化的工作流程，最終提高系統處理能力以改善他們的生活。

Samsung Medison 副總裁暨客戶體驗團隊負責人 Won-Chul Bang 表示：「我們在即將推出的最新 V8 高階超音波系統中，透過採用 NVIDIA TensorRT，為醫療專業人員帶來更好的服務支援，以協助他們進行醫療影像判讀。我們正積極為超音波系統導入 AI 技術以協助支援醫療專業人員，讓他們能夠將心力放在診斷和治療患者等更重要的事情上。」

西門子能源是一間擁有領先能源科技解決方案的純能源公司，使用 Triton 來協助其發電廠客戶透過 AI 管理工廠設備。

西門子能源自動操作產品組合經理 Arik Ott 表示：「NVIDIA Triton 推論伺服器的靈活性，讓配有攝影機和感測器、卻又採用老舊軟體系統的高度複雜發電廠能夠加入自動化工業革命。」

全球相機與社群媒體公司 Snap，旗下擁有 Snapchat、Spectacles 和 Bitmoji 等產品與服務，透過 NVIDIA 的技術來提高盈利並降低成本。

Snap Mapping and Monetization Group 工程副總裁 Nima Khajehnouri 表示：「Snap 使用 NVIDIA GPU 和 TensorRT 將機器學習推論的成本效益提高 50%，且服務延遲降低 2 倍。這讓我們有了更多的運算空間，可以實驗和部署更繁重、更精準的廣告及內容排名模型。」

NVIDIA AI 推論平台加入全新 NVIDIA 認證系統與全新 A2 GPU

NVIDIA 認證系統^™ 讓客戶能夠在高效能、高成本效益且具擴充性的基礎設施上，辨識、取得和部署用於各種現代 AI 應用程式的系統，現在亦加入兩個全新邊緣 AI 類別。

擴展的類別讓 NVIDIA 的系統合作夥伴，能夠為客戶提供完整的 NVIDIA 認證系統產品線，這些系統搭載基於 NVIDIA Ampere 架構的 GPU，可以處理幾乎所有的作業負載。當中包括新推出的入門級、低功耗、體積小巧的加速器 NVIDIA A2 GPU，用於在邊緣伺服器中進行推論和邊緣 AI 作業。先前已推出用於主流企業伺服器的 NVIDIA A30 及用於最高效能 AI 伺服器的 NVIDIA A100，NVIDIA A2 則是為邊緣、資料中心和雲端提供了全面的 AI 推論加速功能。

Atos、戴爾科技 (Dell Technologies)、技嘉 (GIGABYTE)、慧與科技 (Hewlett Packard Enterprise; HPE)、浪潮 (Inspur Electronic Information)、聯想 (Lenovo) 及美超微 (Supermicro) 等全球頂尖企業系統供應商，都在其 AI 系統組合的 NVIDIA 認證系統上支援 NVIDIA AI Enterprise。

其他系統供應商如研華 (Advantech)、華擎科技 (ASRock Rack)、華碩 (ASUS)、New H3C Information Technologies、Nettrix 與 雲達科技 (QCT)，亦提供 NVIDIA 認證系統來協助客戶處理各種作業負載。研華、技嘉及聯想等頂尖供應商很快將推出首批通過新邊緣類別認證的 NVIDIA 認證系統。

供應時程

Triton 可以透過 NVIDIA NGC^TM 目錄中取得，在這個目錄中集合了各種 GPU 最佳化的 AI 軟體，包括框架、工具套件、預先訓練的模型和 Jupyter Notebooks，也能從 Triton GitHub 模型庫取得開放原始碼。

NVIDIA 開發人員計畫的成員可以從 TensorRT 網頁下載 TensorRT，也能從 TensorRT GitHub 模型庫中以開放原始碼的形式拿到最新版本的外掛程式、解析器和範例。客戶可以透過今天另一個發表的 NVIDIA LaunchPad 計畫中所提供的全球精選實驗室，體驗 NVIDIA AI Enterprise 軟體套件中的 NVIDIA Triton。

NVIDIA 全球通路合作夥伴將提供 NVIDIA AI Enterprise 軟體套件，包含 Atea、Axians、Carahsoft Technology Corp.、Computacenter、Insight Enterprises、Presidio、Sirius、SoftServe、SVA System Vertrieb Alexander GmbH、TD SYNNEX、Trace3 及 WWT。