NVIDIA 重拳連發：推出 A100 80GB GPU，以全球最強 GPU 加持 AI 運算

NVIDIA (輝達) 今日揭曉支援 NVIDIA HGX^™ AI 超級運算平台的 NVIDIA^® A100 80GB GPU，其記憶體容量較前一代多出一倍，為研究人員與工程師帶來前所未有的速度與效能，解鎖新一波 AI 與科學研究突破的潛能。

全新 A100 搭載 HBM2e 技術，將 A100 40GB GPU 的高頻寬記憶體容量加倍至 80GB，並提供每秒超過 2 terabytes (TB) 的記憶體頻寬。如此充裕的頻寬讓資料能快速匯入全球最快的資料中心 GPU A100，讓研究人員能進一步推升其應用的速度，以處理更龐大的模型與資料集。

NVIDIA 深度學習應用研究部門副總裁 Bryan Catanzaro 表示：「若想獲得高效能運算 (HPC) 與人工智慧 (AI) 最頂尖的研究成果，就必須建立極龐大的模型，而這也代表將會需要比過去更多的記憶體容量和傳輸頻寬。A100 80GB GPU 提供比六個月前推出的前一代 GPU 多一倍的記憶體容量，還突破每秒 2TB 的頻寬瓶頸，讓研究人員能克服全球最重要的科學與大數據研究難題。」

NVIDIA A100 80GB GPU 現已搭載於 NVIDIA DGX^™ A100 和今日發表的 NVIDIA DGX Station^™ A100 系統，預計在本季開始出貨。

包括 Atos、戴爾科技 (Dell Technologies)、富士通 (Fujitsu)、技嘉 (GIGABYTE)、慧與科技 (Hewlett Packard Enterprise)、浪潮 (Inspur Electronic Information)、聯想 (Lenovo)、廣達 (Quanta) 和美超微 (Supermicro) 等頂尖系統大廠，預計於 2021 上半年開始提供整合四個或八個 A100 80GB GPU 基板的 HGX A100 。

緩解資料密集的作業負載

建立於具備多元功能的 A100 40GB，此次推出的 80GB 版本能因應龐大資料記憶體的需求，適用於更大範圍的應用。

在 AI 訓練方面，例如 DLRM 這類含有大量表格以記載數十億名用戶及數十億項產品的推薦系統模型，由於 A100 80GB 能提供 3 倍的加速效果，因此企業能快速重新訓練這些模型，以提供高精準度的建議。

此外，A100 80GB 還能訓練最龐大的模型，透過套用更多參數，導入到配備單一 HGX 的伺服器，例如 GPT-2 – 一個運用自然語言處理模型來執行超越人類的文字生成功能。如此一來就不再需要耗費大量時間建置資料或模型平行處理架構，而且這類技術在跨多個節點運行時速度過慢。

憑藉本身具備的多執行個體GPU (MIG) 技術，A100 可切分成 7 個 GPU 執行個體，而單一個體配有 10GB 的記憶體，構成安全無虞的硬體分隔區，並能為各種規模較小的作業負載提供最高的 GPU 資源使用率。對於像 RNN-T 這類自動語音辨識模型的 AI 推論，光靠一個 A100 80GB MIG 執行個體就能處理更大的批量，在生成環境中的推論吞吐量提高 1.25 倍。

在 TB 規模的零售業大數據分析基準方面，A100 80GB 能產生最高 2 倍的效能，故能針對龐大的資料集快速獲得洞察，而企業則能透過這些隨時更新的資料即時做出關鍵決策。

在諸如氣象預報及量子化學等科學應用方面，A100 80GB 能提供強大的加速效果。例如像 Quantum Espresso 這款材料模擬軟體，在單節點 A100 80GB 系統運行可達到接近 2 倍的資料產出量提升。

日本理化學研究所計算科學研究中心 (RIKEN Center for Computational Science) 主任松岡聰 (Satoshi Matsuoka) 表示：「加速且充裕的記憶體頻寬與容量，是實現高效能超級運算應用的關鍵條件。NVIDIA A100 結合 80GB 的 HBM2e GPU 記憶體，以每秒 2 TB 帶來全球最快的傳輸頻寬，將為應用挹注大幅提升的效能表現。」

A100 80GB 的主要特色

A100 80GB 融入了許多 NVIDIA Ampere 架構的突破性功能，包含：

• 第 3 代 Tensor Cores：採用新格式 TF32，提供前一代 Volta 20 倍的 AI 吞吐量、5 倍 FP64 高效能運算資料處理速度、20 倍 INT8 AI 推論速度，並支援 BF16 資料格式。
• 更大、更快的 HBM2e GPU 記憶體：加倍的記憶體容量，和開創業界先河每秒超過 2TB 的記憶體頻寬。
• MIG 技術：每個執行個體配置加倍的記憶體，提供最多 7 個 MIG 各 10GB 的記憶體容量。
• 結構化稀疏 (Structural Sparsity) ：提供至多 2 倍加速的推論稀疏模型。
• 第 3 代 NVLink 與 NVSwitch：GPU 與 GPU 之間的頻寬是前一代互連技術的 2 倍，讓 GPU 在執行資料密集作業負載時的傳輸速度加快到每秒 600 gigabyte。

NVIDIA HGX AI 超級運算平台

A100 80GB GPU 是 NVIDIA HGX AI 超級運算平台的關鍵元素，匯集了 NVIDIA GPU、NVIDIA NVLink^®、NVIDIA InfiniBand 網路技術的力量，加上完全優化的 NVIDIA AI 與 HPC 軟體堆疊，發揮最高的應用效能。它讓研究人員與科學家能結合 HPC、資料分析及深度學習運算方法，推動科學研究的進展。

欲瞭解更多關於 NVIDIA A100 80GB 的細節，請準時參加於台灣時間 11 月 17 日早上 7 點登場的NVIDIA SC20 特別說明會。