全新 NVIDIA H100、H200 Tensor 核心 GPU 執行個體即將加入 Microsoft Azure 以加速人工智慧作負載

機密運算和兩個由 NVIDIA 驅動的新執行個體為 Azure 客戶擴展了生成式人工智慧的可能性
作者 Dave Salvator

隨著 NVIDIA 持續與微軟合作建構最先進的人工智慧基礎設施,微軟正在向 Microsoft Azure 引入基於 H100 的虛擬機,以加速高要求的人工智慧工作負載。

在今天的西雅圖 Ignite 大會上,微軟宣布了 Azure 的新 NC H100 v5 虛擬機系列,這是業界首個配備 NVIDIA H100 NVL GPU 的雲端執行個體。

這一產品結合了透過 NVIDIA NVLink 連接的兩個基於 PCIe 的 H100 GPU,擁有近 4 petaflops 的人工智慧運算能力和 188GB 更快的 HBM3 記憶體。NVIDIA H100 NVL GPU 在 GPT-3 175B 上的效能比上一代提高了 12 倍,非常適合進行推論和主流訓練工作負載。

此外,微軟宣布計劃在明年將 NVIDIA H200 Tensor 核心 GPU 增加到其 Azure 機群中,以支持更大模型的推論,而不增加延遲。這種新的產品是專門為加速最大的人工智慧工作負載而設計的,包括大型語言模型生成式人工智慧模型。

H200 GPU 使用最新一代 HBM3e 記憶體,顯著增加了記憶體容量和頻寬。 與 H100 相比,這款新 GPU 將提供 141GB HBM3e 記憶體(增加 1.8 倍)和 4.8 TB/s 峰值記憶體頻寬(增加 1.4 倍)。

雲端運算變得機密

為了進一步擴大 NVIDIA 加速的生成式人工智慧運算對 Azure 客戶的可用性,微軟宣布了另一款由 NVIDIA 驅動的執行個體:NCC H100 v5。

這些搭載 NVIDIA H100 Tensor 核心 GPU 的 Azure 機密運算虛擬機器(Confidential VMs)將使客戶得以保護在使用中、記憶體中資料和應用程式的機密性和完整性,同時獲得 H100 GPU 無與倫比的加速。這些GPU增強的機密運算虛擬機器將很快推出專屬預覽。

欲了解有關搭載 NVIDIA H100 Tensor 核心 GPU 的新機密運算虛擬機器,以及欲註冊參加預覽,請閱讀部落格。了解更多關於 NVIDIA 驅動的 Azure 執行個體,請參考 GPU 虛擬機器資訊網頁