NVIDIA 宣布推出全球最先進的企業級人工智慧基礎架構 DGX H100 系統

作者 NVIDIA

NVIDIA (輝達) 今天宣布推出第四代 NVIDIA® DGX 系統,也是全球首個搭載全新 NVIDIA H100 Tensor 核心 GPU 的人工智慧 (AI) 平台。

DGX H100 系統提供的運算規模足以滿足大型語言模型、推薦系統、醫療研究及氣候科學等領域所需進行的海量運算。每個系統搭載八個 NVIDIA H100 GPU,以 NVIDIA NVLink® 技術互連,每個 DGX H100 系統在全新 FP8 精度下可提供 32 petaflops 的 AI 運算效能,比上一代產品高出六倍。

DGX H100 系統是下一代 NVIDIA DGX PODNVIDIA DGX SuperPOD AI 基礎設施平台的基石。最新的 DGX SuperPOD 架構搭載全新的 NVIDIA NVLink 交換器系統,可以連接多達 32 個節點上總共 256 個 H100 GPU。

下一代 DGX SuperPOD 提供 1 exaflops 的 FP8 AI 運算效能,表現較上一代產品高出六倍,能夠運行有著上兆個參數的大規模 LLM 作業負載,並擴大了 AI 未來的發展領域。

NVIDIA 創辦人暨執行長黃仁勳表示:「AI 已經徹底改變了軟體功能及軟體生成的方式。用 AI 為他們身處的產業帶來變革的公司已體認到 AI 基礎設施的重要性。我們的全新 DGX H100 系統將驅動企業的 AI 基礎設施,將資料提煉成最寶貴的資源,也就是智慧。」

宣布推出全球最高速的 AI 超級電腦 NVIDIA Eos

NVIDIA 將率先採用具突破性的全新 AI 架構來打造 DGX SuperPOD,用以支持 NVIDIA 的研究人員推動氣候科學、數位生物學及未來 AI 的各項發展。這部名為「Eos」的超級電腦共搭載 576 個 DGX H100 系統及 4,608 個 DGX H100 GPU,在今年稍晚開始運行後,預計將成為世界上最快的 AI 系統。

NVIDIA Eos 超級電腦的 AI 運算表現預計將達 18.4 exaflops,較當前世界上最快的超級電腦,也就是日本的富岳 (Fugaku ) 系統的 AI 處理速度快四倍。而在處理傳統的科學運算方面,Eos 超級電腦預計將提供 275 petaflops 的運算效能。

Eos 超級電腦將成為 NVIDIA 及 OEM 業者和雲端運算合作夥伴在發展先進 AI 基礎設施時的藍圖。

DGX H100 系統、DGX POD DGX SuperPOD 讓企業能輕鬆擴展 AI

DGX H100 系統讓企業能輕鬆進行擴展,隨著專案從發展初期到廣泛部署,可以輕鬆擴大系統規模以滿足 AI 的需求。

每個 DGX H100 系統上除了有八個 H100 GPU (電晶體總數達6,400億個),還有兩個 NVIDIA BlueField®-3 DPU,用於卸載、加速和隔離先進的網路、儲存及安全服務。

用於連接運算單元與儲存裝置的八張 NVIDIA ConnectX®-7 Quantum-2 InfiniBand 網路卡,提供每秒 400Gb 的傳輸量,速度是前一代系統的兩倍。而第四代 NVLink 加上 NVSwitch™,在每個 DGX H100 系統的每個 GPU 之間提供每秒 900GB 的連線速度,比前一代系統高出 1.5 倍。

DGX H100 系統使用兩個 x86 CPU,可以搭配 NVIDIA 網路技術及 NVIDIA 合作夥伴提供的儲存裝置,組合成靈活的 DGX POD,適用於任何規模的 AI 運算作業。

DGX SuperPOD 藉由 DGX H100 系統,提供具擴充性的企業 AI 卓越中心。DGX SuperPOD 中的 DGX H100 節點和 H100 GPU 透過 NVLink 交換器系統及 NVIDIA Quantum-2 InfiniBand 互連,提供每秒總計 70TB 的頻寬,比上一代產品高出 11 倍。NVIDIA 合作夥伴提供的儲存裝置將經過測試和認證,以滿足 DGX SuperPOD AI 運算的需求。

組合多個 DGX SuperPOD 單元,將能提供汽車、醫療照護、製造、通訊、零售等各產業在發展大規模模型時所需的 AI 運算效能。

NVIDIA DGX Foundry 加上 DGX SuperPOD,協助客戶更快取得成果

NVIDIA DGX Foundry 代管開發解決方案在全球蓬勃發展,DGX SuperPOD 客戶在安裝系統之際,立刻就能使用先進的運算基礎設施。在北美、歐洲和亞洲等地新加入的據點,讓客戶能夠從遠端存取 DGX SuperPOD 或其中一部分的服務。

DGX Foundry 內含 NVIDIA Base Command™ 軟體,客戶使用這款軟體便能在 DGX SuperPOD 基礎設施上輕鬆管理端到端的 AI 開發生命週期。

符合條件的企業可以透過 NVIDIA LaunchPad 在遍布全球的 Equinix International Business Exchange™ (IBX®) 資料中心代管的精選實驗室,免費體驗 NVIDIA Base Command 和 DGX 系統。

MLOps 和企業級 AI 軟體能支援客戶採用持續增加的 AI 應用

為了協助正在開發 AI 的 DGX 客戶,NVIDIA DGX-Ready 軟體合作夥伴所提出的 MLOps 解決方案都加入「NVIDIA AI Accelerated」計畫,這些合作夥伴包括 Domino Data LabRun:ai 及 Weights & Biases 在內。

NVIDIA 將對參與計畫的合作夥伴所提出的 MLOps 應用程式進行驗證,提供 DGX 客戶企業級的工作流程和叢集管理、排程和調度解決方案。

此外,NVIDIA DGX 系統現在還加入 NVIDIA AI Enterprise 軟體套件,這款套件已可支援裸機基礎設施。DGX 的客戶可以利用該軟體套件中已預先完成訓練的 NVIDIA AI 平台模型、工具套件和框架來加快各項作業,例如 NVIDIA RAPIDS™、NVIDIA TAO 工具套件NVIDIA Triton 推論伺服器™ 等。

DGX-Ready 代管服務計畫簡化了 AI 部署作業

隨著企業採用 AI 的數量不斷增加,客戶一直在尋找更多業務轉型所需基礎設施的選擇。NVIDIA 將推動一項 DGX-Ready 代管服務計畫,以協助想和服務供應商合作監督其基礎設施的客戶。

勤業眾信 (Deloitte) 是第一個與 NVIDIA 攜手執行這項計畫的全球服務供應商,該公司也將獲得認證,為歐洲、北美和亞洲的客戶提供支援,區域性的服務供應商還有 CGit、ePlus inc.、Insight EnterprisesPTC System

Deloitte Consulting LLP 負責人暨 AI 與資料營運產品部門負責人 Jim Rowan 表示:「只有當企業有能力將技術整合到營運中,才能運用 AI 來突破業務發展的極限。透過新的 DGX-Ready 代管服務計畫,客戶便能透過由全球的勤業眾信專家所管理的 NVIDIA DGX 系統和軟體,輕鬆採用引領全球的 AI 服務。」

DGX-Ready 生命週期管理計畫協助客戶輕鬆升級

客戶現在可以透過新的 DGX-Ready 生命週期管理計畫,以最新的 NVIDIA DGX 平台升級其現有的 DGX 系統。

加入 DGX-Ready 生命週期管理計畫的 NVIDIA 通路合作夥伴,將能夠更新前一代的 DGX 系統供新客戶購買,這樣便能讓更多人使用全球 AI 基礎設施通用系統。

供貨時程

NVIDIA 的全球合作夥伴將自第三季開始提供 NVIDIA DGX H100 系統、DGX PODs 和 DGX SuperPODs。客戶也可以選擇在 NVIDIA DGX-Ready 資料中心合作夥伴 (包括 Cyxtera、Digital Realty 及 Equinix IBX 資料中心) 經營的主機代管設施中部署 DGX 系統。

敬請觀看黃仁勳先生的 GTC 2022 主題演講,獲得更多關於 NVIDIA DGX 系統的資訊。免費報名 GTC 2022 大會,參加由 NVIDIA 及業界領導者主講的議程。

掌握 NVIDIA 最新動態

請訂閱 NVIDIA 官方部落格或追蹤 FacebookTwitterLinkedInInstagram。瀏覽 NVIDIA 相關影片及圖片,請至 YouTubeFlickr

關於 NVIDIA (輝達)

NVIDIA (輝達) 自 1999 年發明 GPU 起便成功促進 PC 電競市場的成長,並重新定義現代電腦繪圖、高效能運算與人工智慧。NVIDIA 在加速運算和人工智慧領域的開創性成就,正重塑多個市場規模高達數兆美元的產業,如交通運輸、健康醫療和製造業,亦同時促進許多其他產業的成長。欲瞭解更多資訊,請瀏覽 https://blogs.nvidia.com.tw

新聞聯絡人

NVIDIA
亞太公關總監 杜佳祐
電話:(02)6605-5856
傳真:(02)8751-1809
E-mail: Melody Tu
世紀奧美公關顧問
蔡宜真/黃晨瑀/詹淑君
電話:(02) 7745-1688
分機 135/128/133
傳真:(02) 7743-9199
行動電話: 0970504933/0931309553/ 0975251507
E-mail: Salin Tsai/ Bonnie Huang/ Shirley Chan

本新聞稿可能包含 NVIDIA 根據目前預期所做出的前瞻性聲明:產品的優點、影響、規格、效能和供貨時程,包括採用 Hopper 架構的 DGX H100 系統、NVIDIA H100 GPU、NVIDIA DGX POD、NVIDIA DGX SuperPOD、NVIDIA Eos、NVIDIA BlueField-3 DPU、NVIDIA ConnectX-7 Quantum-2 InfiniBand 網路卡、NVLink、NVSwitch、NVIDIA DGX Foundry、NVIDIA Base Command 軟體與 NVIDIA AI Enterprise 軟體套件;AI對於打造系統的重要性;NVIDIA 合作夥伴提供的儲存裝置經過測試和認證,以滿足DGX SuperPOD在AI運算的需求;MLOps 應用程式經過驗證,能夠提供 DGX 客戶企業級的工作流程和叢集管理、排程和調度解決方案;隨著企業採用AI的數量不斷增加,客戶一直在尋找更多業務轉型所需基礎設施的選擇;勤業眾信經過認證為客戶提供支援;以及客戶和NVIDIA通路合作夥伴能夠升級和更新現有DGX系統。多項重要因素可能導致實際結果與前瞻性聲明所示之結果出現重大差異,所及範圍有全球經濟情況;我們的產品借重第三方協力廠商之製造、組合、封裝和測試之部分;技術發展和市場競爭之影響;新產品或技術之發展或我們現有產品與技術之提升;市場接受我們的產品或合作夥伴產品的程度;設計、製造或軟體的缺失;消費者偏好或需求之改變;業界標準和介面之改變;整合到系統後無法預期的產品或效能降低之技術缺失;以及我們定期提交給美國證券交易委員會 (SEC) 以Form 10-Q報告附本為基礎的Form 10-K財務季度等其他詳細因素。NVIDIA 在公司官方網站上免費提供定期提交給 SEC 的報告之副本。這些前瞻性聲明不保證未來的效能,只陳述目前的狀態,除非法律規定,否則NVIDIA沒有意願或義務更新或修改任何前瞻性聲明。

©本文為 NVIDIA 公司 2022 版權所有,並保留所有權利。NVIDIA、NVIDIA 標誌、BlueField、ConnectX、DGX、NVIDIA Base Command、NVIDIA DGX POD、NVIDIA DGX SuperPOD、NVIDIA Triton Inference Server、NVLink、NVSwitch 及 RAPIDS皆為NVIDIA Corporation 在美國和其他國家/地區的商標和/或註冊商標。其他公司和產品名稱可能為與之相關的各自公司之商標。功能、價格、供貨情況和規格如有變更,恕不另行通知。