隨著 NVIDIA 持續與微軟合作建構最先進的人工智慧基礎設施,微軟正在向 Microsoft Azure 引入基於 H100 的虛擬機,以加速高要求的人工智慧工作負載。
在今天的西雅圖 Ignite 大會上,微軟宣布了 Azure 的新 NC H100 v5 虛擬機系列,這是業界首個配備 NVIDIA H100 NVL GPU 的雲端執行個體。
這一產品結合了透過 NVIDIA NVLink 連接的兩個基於 PCIe 的 H100 GPU,擁有近 4 petaflops 的人工智慧運算能力和 188GB 更快的 HBM3 記憶體。NVIDIA H100 NVL GPU 在 GPT-3 175B 上的效能比上一代提高了 12 倍,非常適合進行推論和主流訓練工作負載。
此外,微軟宣布計劃在明年將 NVIDIA H200 Tensor 核心 GPU 增加到其 Azure 機群中,以支持更大模型的推論,而不增加延遲。這種新的產品是專門為加速最大的人工智慧工作負載而設計的,包括大型語言模型和生成式人工智慧模型。
H200 GPU 使用最新一代 HBM3e 記憶體,顯著增加了記憶體容量和頻寬。 與 H100 相比,這款新 GPU 將提供 141GB HBM3e 記憶體(增加 1.8 倍)和 4.8 TB/s 峰值記憶體頻寬(增加 1.4 倍)。
雲端運算變得機密
為了進一步擴大 NVIDIA 加速的生成式人工智慧運算對 Azure 客戶的可用性,微軟宣布了另一款由 NVIDIA 驅動的執行個體:NCC H100 v5。
這些搭載 NVIDIA H100 Tensor 核心 GPU 的 Azure 機密運算虛擬機器(Confidential VMs)將使客戶得以保護在使用中、記憶體中資料和應用程式的機密性和完整性,同時獲得 H100 GPU 無與倫比的加速。這些GPU增強的機密運算虛擬機器將很快推出專屬預覽。
欲了解有關搭載 NVIDIA H100 Tensor 核心 GPU 的新機密運算虛擬機器,以及欲註冊參加預覽,請閱讀部落格。了解更多關於 NVIDIA 驅動的 Azure 執行個體,請參考 GPU 虛擬機器資訊網頁。