下一波人工智慧（AI）浪潮正對基礎設施提出全新要求。
隨著 AI 代理與兆級參數工作負載逐漸成為主流，AI 基礎設施的效能不僅取決於運算能力，更取決於運算、記憶體、儲存、網路與軟體能否共同設計為一個統一的系統。
為協助超大規模雲端服務供應商與 AI 創新業者打造下一代半客製化 AI 基礎設施，NVIDIA 今日透過 NVIDIA NVHBM 擴展了 NVIDIA NVLink Fusion。NVHBM 是新一代高頻寬記憶體技術，能為 XPU 帶來更高的記憶體效能與效率。此技術將由領先的記憶體合作夥伴進行驗證並提供，讓 NVLink Fusion 客戶也能採用這項先進記憶體技術。
傳統的 HBM 架構將記憶體控制器置於 XPU 晶片上，會占用原本可用於運算的寶貴晶片面積。NVHBM 基於NVIDIA 未來 GPU 將採用的相同技術，將 NVIDIA 的客製化記憶體控制器整合至 HBM 基底晶片之中。
透過將記憶體控制器整合至 3D HBM 堆疊，而非置於 XPU 上，NVHBM 相較於標準 HBM4E，可讓記憶體頻寬最高提升 30%、HBM 功耗降低 15%，並為 XPU 運算晶片釋放多達 25% 的面積。
NVIDIA 正建立標準化的 NVHBM 實現方案，並由多家記憶體供應商提供。這樣可降低跨多家供應商整合與驗證記憶體所需的工程投入，讓 NVLink Fusion 客戶能更快將客製化 AI 晶片推向市場。
Amazon 旗下 Annapurna Labs 將率先與 NVIDIA 合作開發 NVHBM，作為雙方擴大 NVLink Fusion 合作的一部分。
AWS 與 NVIDIA 持續深化 NVLink Fusion 合作
Amazon 旗下的 Annapurna Labs 將與 NVIDIA 合作，共同開發 NVHBM 技術與 NVLink 垂直擴充架構，以提升 AI 工作負載的效能與效率。
這延續 AWS 先前宣布對 NVLink Fusion 的支援。Annapurna Labs 將從 Trainium4 起，在新一代 Trainium 晶片中支援 NVLink Fusion，讓 Amazon 晶片與 NVIDIA GPU 能夠在共通的機架級架構下協同運作。
Amazon Annapurna Labs 副總裁 Nafea Bshara 表示：「NVHBM 代表了一種提升高頻寬記憶體效能與效率的全新架構方式。我們期待透過這項技術合作，為 AWS 未來的基礎設施設計帶來助益。」
垂直整合、水平開放
NVLink Fusion 讓合作夥伴能夠將客製化的 XPU 和 CPU 連接至 NVIDIA 的機架級平台。
合作夥伴可使用 NVIDIA NVLink 小晶片、NVLink-C2C、NVLink 交換器，以及 NVIDIA MGX 系統與機架，並可串聯廣泛的生態系，包括 CPU 合作夥伴、ASIC 設計業者、系統製造商與技術供應商。
NVLink Fusion 隨每一代 NVIDIA 機架級系統架構提供，讓超大規模雲端服務供應商與 AI 原生企業能將工程資源聚焦於 XPU 創新，同時運用經驗證的技術堆疊來處理垂直擴充與水平擴充網路、機架級系統與軟體，以更快、風險更低的方式部署半客製化 AI 基礎設施。
進一步了解 NVLink 與 NVLink Fusion。