NVIDIA 推出邊緣運算平台 為全球各產業帶來即時人工智慧運算

頂尖電腦製造商採用 NVIDIA EGX 平台推出 GPU 邊緣伺服器提供電信、醫療、製造、零售與運輸產業即時串流資料的 AI 運算

NVIDIA (輝達) 今日宣布發表 NVIDIA EGX 加速運算平台，讓企業能在邊緣執行低延遲的 AI 作業，能針對 5G 基地台、倉儲、零售商店、工廠與其他作業站間龐大且不間斷的資料串流進行接收、分析並即時採取行動。

NVIDIA EGX 是因應持續成長的運算需求而生，能為產生資料的邊緣進行立即且高吞吐量的AI 運算，確保反應時間並同時減少必須傳回雲端的資料量。至 2025 年，全球將有　1,500 億個機器感測器與物聯網 (IoT) 裝置不間斷地串流需要即時處理的資料(1)，這些資料量比現今由使用智慧型手機所產生的資料還要多。如同 NVIDIA EGX 平台的邊緣伺服器也將會遍布全球各地，以即時處理來自這些感測器的資料。

NVIDIA 副總裁暨企業與邊緣運算總經理 Bob Pette 表示：「企業需要更強大的邊緣運算效能，以處理來自他們與客戶和各式設備之間無數互動中所產生的海量原始資料，並產出快速且經 AI 強化的決策以帶動成長。像 NVIDIA EGX 一樣具備擴充性的平台能為企業提供能輕鬆部署的系統，滿足在地、雲端或是兩者兼備的運算需求。」

擴充性

EGX 擁有強大的擴充性，小至體積極小的 NVIDIA Jetson Nano™，以僅僅幾瓦的耗能就能提供如影像辨識等任務所需的每秒五萬億兆次浮點運算 (TOPS)；規模亦可大至一整櫃的 NVIDIA T4 伺服器，為即時口語辨識和其他即時 AI 任務提供超過10,000 兆次浮點運算的效能。

企業級應用

NVIDIA 與 Red Hat 攜手合作，將 NVIDIA 邊緣堆疊技術與頂尖企業級 Kubernetes 容器編譯平台 OpenShift 進行整合與優化。

NVIDIA 邊緣堆疊技術是最佳化的軟體堆疊，其中包含 NVIDIA 驅動程式、CUDA Kubernetes 外掛程式、CUDA 容器計時、CUDA-X 函式庫與包含 TensorRTTM、TensorRT 推論伺服器與 Deepstream 在內的容器化 AI 框架與應用。NVIDIA 邊緣堆疊為經認證的伺服器而優化，並能透過 NVIDIA NGC 登入服務進行下載。

Red Hat 技術長 Chris Wright 表示：「Red Hat 致力於為任何從混合雲到邊緣的作業、足跡與地點提供一致性的體驗。藉由整合 Red Hat OpenShift 與透過 NVIDIA EGX 驅動的平台，客戶將能透過一致性、高效能與以容器為核心的環境，進一步優化其分散式運作。 」

整合邊緣 AI 雲端

EGX 將全系列 NVIDIA AI 運算技術與 Red Hat OpenShift 和 NVIDIA 邊緣堆疊與 Mellanox 和 Cisco 安全、網路與儲存技術進行整合。這讓如電信、製造、零售、醫療與運輸等最大型的企業能夠快速部署頂尖、安全的企業級 AI 基礎設施。

Mellanox 技術長 Michael Kagan 表示：「Mellanox 智慧網路介面與轉換為從邊緣到超大規模資料中心的資料存取提供理想的 I/O 連接。高效能、低延遲與加速網路的整合能提供一個全新的基礎結構，其對於帶動如 NVIDIA EGX 等次世代先進 AI 邊緣平台解決方案所需的有效資料存取與供應至關重要。」

思科運算系統副總裁 Kaustubh Das 表示：「思科對於與 NVIDIA 共同合作感到興奮，運用可支援 EGX 的思科平台和運算、結構、儲存與管理軟體，及我們建構於乙太及 IP 網絡、領先市場的技術，提供我們的客戶邊緣到核心的全方位解決方案。」

驅動混合雲與多雲 IoT

主要雲端服務皆提供 NVIDIA AI 運算，且在架構上與 NVIDIA EGX 相容。在雲端上開發的 AI 應用能夠在該平台執行，反之亦是如此。NVIDIA 邊緣堆疊與各大雲端 IoT 服務連結，用戶也能透過 AWS IoT Greengrass 與微軟 Azure IoT Edge 遠端管理其服務。

Azure IoT Edge 總監 Sam George 表示：「Azure IoT Edge 協助客戶快速且安全地將雲端服務部署至 IoT 裝置上。我們期待在 Azure IoT Edge 裝置上支援 NVIDIA EGX 邊緣運算平台，讓客戶得以針對與 EGX 相容的硬體部署 AI 作業。」

開發人員的廣大支持

NVIDIA EGX 為持續成長的軟體解決方案生態系持續優化邊緣 AI，包括如 AnyVision、DeepVision、鐵雲科技 (IronYun) 與碼隆科技(Malong Technologies) 等軟體商所推出、適合大型連鎖零售商店與智慧城市所使用的影像分析應用，以及來自 12 Sigma、推想科技 (Infervision)、Qunatib 與 Subtle Medical 提供的醫療相關軟體產品。

全球頂尖電腦製造商採用

EGX 伺服器將透過全球企業運算供應商包含 ATOS、Cisco、Dell EMC、Fujitsu、Hewlett Packard Enterprise、Inspur Electronic Information 與 Lenovo 進行供應，其也能透過其他主要伺服器與 IoT 系統建置商包含 Abaco、Acer、ADLINK、Advantech、ASRock Rack、ASUS、AverMedia、Cloudian、Connect Tech、Curtiss-Wright、GIGABYTE、Hitachi、Leetop、MiiVii、Musashi Seimitsu、QCT、Supermicro、Tyan、WiBase 與 Wiwynn　進行供應。

所有 NVIDIA EGX 伺服器皆針對 CUDA 加速容器進行 NVIDIA 邊緣堆疊與 NGC-Ready 認證。

超過 40 家企業與機構的廣泛支持

EGX 的早期使用者包含超過 40 家引領業界的公司與機構，BMW Group Logistics 是其中之一。BMW Group Logistics 青睞於 NVIDIA EGX 邊緣運算及 Isaac 機器人平台，這使他們能夠在邊緣直接運用 AI 於他們的物流流程，並且即時且有效率地處理愈加複雜的物流作業。

各產業採用 EGX 的產業領導者包含：

富士康 D 次集團總經理簡宜彬表示：「富士康的個人電腦 (PC) 生產線現階段由於需要以人工方式花四秒鐘來檢查每個零件，因此檢驗速度受限。我們的目標是希望透過 NVIDIA EGX 平台進行邊緣的即時智慧決策，把 PC 生產線的產能提升四成以上。我們的模型透過在 NVIDIA GPU上運行的快速神經網路，能同時檢測與分類出 16 種瑕疵類型與位置，以 98% 的準確率達成超乎人工的產出率。」

GE 醫療核磁共振應用總經理 Jason Polzin 博士表示：「AI 是達成精準醫療的關鍵，且必須從雲端到邊緣到醫療裝置上都能直接被應用。NVIDIA EGX 藉由將 NVIDIA T4 GPU 直接搭載在 GE 的醫療裝置中，讓我們得以快速獲得磁共振造影、提升影像品質並同時降低變異性。這一切都讓我們朝改善病人醫療結果的目標推進。即時與危及照護的應用需要在邊緣執行 AI。這是為什麼我們要打造 Edison 智慧產品，並與 NVIDIA 攜手合作將 AI 導入醫療裝置與 Edison 邊緣儀器中，也是我們為何要與 ACR AI-LAB 合作讓 AI 普及。」

Partners Healthcare資料科學長兼哈佛醫學院放射醫學副教授Keith Dreyer博士表示：「醫院越來越依賴 AI 來預測對病患有害的事件、支持臨床決策與更有效率的運作。不過這些 AI 的應用皆必須仰賴病歷資料。NVIDIA EGX AI 邊緣運算平台提供醫院一個簡單的 AI 基礎設施以確保病患資料安全、提供即時的 AI 處理並擴大至改善病患照護與降低照護成本所需的數千個 AI 應用。」

Seagate Technology 資深首席資料科學家 Bruce King 表示：「Seagate 已在製造工廠部署基於 GPU 的智慧邊緣視覺化解決方案，以便檢測硬碟讀寫頭的品質。NVIDIA EGX 平台大幅加速在邊緣的推論，讓我們看到過往人工無法檢測到的細微瑕疵。我們預計透過更高的效率與更佳的品質，讓製造提升最高 10% 的產出量與 300 % 的投資報酬率。」