NVIDIA EGX 平台善用企業 Kubernetes 簡化 AI 邊緣運算部署

作者 Adel El Hallak

新的 GPU 操作員,Helm 圖表及 NGC-Ready 系統,讓企業邁向邊緣及混合運算平台

AI 人工智慧不再只是紙上談兵,現在,AI 用以解決真實世界所面臨的各種問題,企業必須要找出如何部署 AI 技術,達到更好的決策效率。

隨著 AI 技術、IoT 物聯網的匯流以及 5G 基礎建設漸漸來臨,技術面的成熟,讓企業從數據中心進化到邊緣運算,藉由數以萬計的感測器串流數據,進行即時的決策。

大規模使用 AI 來進行工作的企業,採取私有雲及公有雲混合使用的方式,將 AI 技術直接運用在資料被收集的當下。然而,這種混合運用的 IT 環境,無法提供持續有效的使用經驗。若將AI工作部署在邊緣端,譬如說零售店或是停車塲等處,更會是艱難的挑戰,因為現場沒有 IT 專業人員,無法解決突如其來的系統失常問題。

Kubernetes 軟體平台則可省去許多人力,無論在 AI 應用的部署、管理與擴展等各方面,有效精簡人工。此平台提供一個持續性的雲端原生 (cloud-native) 模式,採用就地部署 (on-prem)、邊緣運算 (edge) 及雲端處理 (cloud) 混用的方式。

然而,架設 Kubernetes 叢集來管理數以萬計的遠端應用,是一件龐雜的事情。尤其當專業人員無法隨時輪值,出現在邊緣端處理現場問題。這時候,就需要透過 NVIDIA EGX platform 平台來解決。

EGX Platform

NGC-Ready for Edge 邊緣運算系統驗證

現在,已有許多全球領先的伺服器廠商,提供 NGC-Ready 的系統設備。這些系統在整體功能性及 AI 軟體部分,皆已通過 NVIDIA NGC GPU 優化容器軟體中心的驗證。

為了扶植邊緣運算技術的建置,我們在洛杉磯美國無線通訊展 (Mobile World Congress Los Angeles) 將發布 NGC-Ready 系統,及 NGC-Ready for Edge 系統的拓展計畫。名單中的系統皆經過安全性及遠端管理的各項測試,對於邊緣運算的部署工作是非常重要的訴求。合格通過的系統相當適合用來運作 EGX 堆疊,是部署混合雲時最好的敲門磚。

有許多世界領導廠商已經可提供通過驗證的 NGC-Ready for Edge 邊緣運算系統,包括 Advantech 研華、Altos Computing 宏碁安圖斯、ASRock RAC K華擎、Atos 源訊、Dell Technologies 戴爾、Fujitsu 富士通、GIGABYTE 技嘉、Hewlett Packard 惠普、Lenovo 聯想、MiTAC 神達、QCT 雲達、Supermicro 美超微及 TYAN 泰安等皆有加入此計劃。

擴增的 NGC 登錄檔

NGC 現在提供用於部署和管理 AI 軟體 Helm 圖表登錄檔。Helm 圖表登錄檔是強大的雲端原生工具,可自定義並自動化選擇部署應用程式的方式和位置,並跨 Kubernetes 叢集進行運作。

NGC 的 Helm 圖表登錄檔包含 AI 框架,包括 GPU Operator 在內的 NVIDIA 軟體,用於醫學成像的 NVIDIA Clara 和用於智慧城市,智慧零售和工業檢查的 NVIDIA Metropolis。 NGC還託管用於第三方 AI 應用程序的 Helm 圖表,包括用於車輛分析的 DeepVision,用於影像搜索的 IronYun 和用於串流分析的 Kinetica。

有了 NGC-Ready 支援服務,各開發者在執行工作時,即可利用自己的 NGC-Ready for Edge 邊緣運算系統,使用私有的 Helm 登錄檔。讓工作團隊可以善用此一具有持續性的、安全的、可信賴的系統環境,執行無數次的執行程序,加速系統的整合及部署。

現在就加入 NGC 部署 AI 軟體

欲輕鬆規範跨越不同平台的 GPU 加速 Kubernetes 群集,快速運用 Helm chart 圖表及容器部署 AI 應用,請參考:ngc.nvidia.com