AWS 和 NVIDIA 宣布策略合作，為生成式人工智慧提供新的超級運算基礎架構、軟體和服務

• AWS 將提供首款配備 NVIDIA Grace Hopper 超級晶片和 UltraCluster 可擴展性的雲端人工智慧超級電腦
• NVIDIA DGX Cloud—第一個採用 NVIDIA GH200 NVL32 的超級電腦 —即將於 AWS上提供
• 兩家公司合作推動 Ceiba 計畫，共同打造全球最快的 GPU 驅動人工智慧超級電腦，以及最新的 NVIDIA DGX Cloud 超級電腦，用於 NVIDIA 人工智慧研發和客製化模型開發。
• 由 NVIDIA GH200、H200、L40S 和 L4 GPU 驅動的新 Amazon EC2 執行個體可增強生成式人工智慧、高效能運算、設計和模擬工作負載
• AWS 上的 NVIDIA 軟體  — NeMo 大型語言模型框架、NeMo Retriever 和 BioNeMo  —促進用於客製化模型、語意檢索和藥物探索的生成式人工智慧開發

在AWS re:Invent 大會上，Amazon（NASDAQ：AMZN）旗下的 Amazon Web Services （AWS）和 NVIDIA（NASDAQ：NVDA）今天宣布擴大策略合作，以提供最先進的技術基礎設施、軟體和服務，推動客戶的生成式人工智慧創新。

兩家公司將匯集 NVIDIA 和 AWS 的最佳技術，從配備下一代 GPU、CPU 和人工智慧軟體的 NVIDIA 最新多節點系統，到 AWS Nitro System 先進的虛擬化和安全性、Elastic Fabric Adapter（EFA）互連和UltraCluster 可擴展性，均非常適合訓練基礎模型和建立生成式人工智慧應用。

這次擴大合作是基於長期的夥伴關係，此夥伴關係為早期機器學習（ML）先驅者們提供了發展最新技術所需的運算效能，推動了生成式人工智慧時代。

作為擴大合作以增強所有產業生成式人工智慧的一部分：

• AWS 將成為首家將具有全新多節點 NVLink^™ 技術的 NVIDIA^® GH200 Grace Hopper 超級晶片引入雲端的雲端服務供應商。NVIDIA GH200 NVL32 多節點平台透過 NVIDIA NVLink 和 NVSwitch^™ 技術連接 32 個 Grace Hopper 超級晶片成為一個執行個體。該平台將在與 Amazon 強大的網路（EFA）連接的 Amazon Elastic Compute Cloud（Amazon EC2）執行個體上提供，並由高級虛擬化（AWS Nitro System）和超大規模叢集（Amazon EC2 UltraClusters）提供支持，使雙方客戶能夠擴展數以千計的 GH200 超級晶片。
• NVIDIA 和 AWS 將合作在 AWS 上託管 NVIDIA 的人工智慧訓練即服務 NVIDIA DGX™ Cloud。它將是第一個採用 GH200 NVL32 的 DGX Cloud，為開發人員提供單一執行個體中最大的共享記憶體。AWS 上的 DGX Cloud 將加速尖端的生成式人工智慧和參數超過 1 兆個的大型語言模型的訓練。
• NVIDIA 和 AWS 正合作進行 Ceiba 計畫，打造世界上最快的 GPU 驅動人工智慧超級電腦，這是一個採用 GH200 NVL32 和 Amazon EFA 互連的大規模系統，由 AWS 為 NVIDIA 研發團隊託管。 這台首創的超級電腦配備 16,384個 NVIDIA GH200 超級晶片，能夠處理的 65 exaflops 的人工智慧運算效能 ，NVIDIA 將使用它來推動下一波生成式人工智慧創新。
• AWS 將推出另外三個新的 Amazon EC2 執行個體：由 NVIDIA H200 Tensor Core GPU 驅動的 P5e 執行個體，適用於大規模和尖端的生成式人工智慧和高效能運算工作負載，以及分別由 NVIDIA L4 GPU 和 NVIDIA L40S GPU 驅動的 G6 和 G6e 執行個體，適用於人工智慧微調、推論、圖形和影片的工作負載等一系列廣泛應用。 G6e 執行個體特別適合使用 NVIDIA Omniverse™ 開發 3D 工作流程、數位孿生和其他應用程式，NVIDIA Omniverse^™ 是一個用於連接和建構由生成式人工智慧驅動的 3D 應用程式平台。

AWS 執行長 Adam Selipsky 說：「從世界上第一個 GPU 雲端執行個體開始，AWS 和 NVIDIA 的合作已超過 13 年。今天，我們為圖形、遊戲、高效能運算、機器學習以及現在的生成式人工智慧等工作負載提供最廣泛的 NVIDIA GPU 解決方案。我們繼續與 NVIDIA 一起創新，將下一代 NVIDIA Grace Hopper 超級晶片與 AWS EFA 強大網路、EC2 UltraClusters 的超大規模叢集以及 Nitro 先進虛擬化功能相結合，使 AWS 成為運行 GPU 的最佳場所。」

NVIDIA 創辦人暨執行長黃仁勳表示：「生成式人工智慧正在改變雲端工作負載，並將加速運算作為多樣化內容生成的基礎。在向每位客戶提供經濟高效、最先進生成式人工智慧的共同使命驅動下，NVIDIA 和 AWS 在整個運算堆疊上開展合作，涵蓋人工智慧基礎設施、加速函式庫、基礎模型和生成式人工智慧服務。」

新的 Amazon EC2 執行個體結合了 NVIDIA 和 AWS 的最先進技術

AWS 將成為第一家提供具備多節點 NVLink 技術的 NVIDIA GH200 Grace Hopper 超級晶片的雲端供應商。每個 GH200 超級晶片在同一模組上結合了基於 Arm 的 Grace CPU 和一個 NVIDIA Hopper™ 架構 GPU。配備 GH200 NVL32 的單一 Amazon EC2 執行個體可提供高達 20 TB 的共享記憶體，支援TB級的工作負載。

這些執行個體將利用 AWS 的第三代 Elastic Fabric Adapter（EFA）互連，為每個超級晶片提供高達 400 Gbps 的低延遲、高頻寬網路吞吐量，使客戶能夠在 EC2 UltraCluster 中擴展到數千個 GH200 超級晶片。

配備 GH200 NVL32 的 AWS 執行個體將提供客戶可按需求取得超級電腦級的效能，這對於需要在複雜生成式人工智慧工作負載中跨多個節點分佈的大規模 AI/ML 工作負載至關重要，涵蓋了基礎模型、推薦系統和向量數據庫。

NVIDIA GH200 驅動的 EC2 執行個體將配備 4.5 TB HBM3e 高頻寬記憶體 ，與目前一代 H100 驅動的 EC2 P5d 執行個體相比增加了 7.2 倍，將讓客戶運行更大的模型，同時提高訓練效能。 此外，CPU 至 GPU 記憶體互連的頻寬比 PCIe 高出 7 倍，從而實現晶片間通訊，擴展應用程式可用的總記憶體。

配備 GH200 NVL32 的 AWS 執行個體將成為 AWS 上首個採用液體冷卻功能的人工智慧基礎設施，以協助確保密集的伺服器機架能夠以最佳效能高效運作。

採用 GH200 NVL32 的 EC2 執行個體也將受益於 AWS Nitro 系統，它是下一代 EC2 執行個體的底層平台。Nitro 系統將功能的 I/O 從主機 CPU/GPU 卸載到專用硬體，以提供更一致的效能，同時其增強的安全性可在處理過程中保護客戶程式碼和資料。

AWS 率先託管由 Grace Hopper 驅動的 NVIDIA DGX Cloud

AWS 將與 NVIDIA 合作託管由 GH200 NVL32 NVLink 基礎設施驅動的 NVIDIA DGX Cloud。NVIDIA DGX Cloud 是一項人工智慧超級運算服務，可讓企業快速存取多節點超級運算，以訓練最複雜的大型語言模型和生成式人工智慧模型，並整合 NVIDIA AI Enterprise 軟體，並可直接聯繫人工智慧專家。

Ceiba 超級電腦大型計畫將增強NVIDIA 的人工智慧開發

AWS 和 NVIDIA 正在打造的 Ceiba 計畫超級電腦將與 AWS 服務整合，例如 Amazon Virtual Private Cloud（VPC）加密網路和 Amazon Elastic Block Store 高效能區塊儲存，從而使 NVIDIA 能夠存取全面的 AWS 功能。

NVIDIA 將使用此超級電腦進行研發，以推進大型語言模型、圖形和模擬、數位生物學、機器人、自動駕駛汽車和 Earth-2 氣候預測等領域的人工智慧。

NVIDIA 和 AWS 增強生成式人工智慧、高效能運算、設計和模擬

為了支援最大的大型語言模型開發、訓練和推論，AWS P5e 執行個體將採用 NVIDIA 最新的 H200 GPU，該 GPU 提供 141 GB 的 HBM3e 高頻寬記憶體，比 H100 GPU 大 1.8 倍、快 1.4 倍。GPU 記憶體的提升以及有 AWS Nitro 系統支援高達 3,200 Gbps 的 EFA 網路將使客戶能夠繼續在 AWS 上建置、訓練和部署其尖端模型。

為了為影片、人工智慧和圖形工作負載提供經濟高效、節能的解決方案，AWS 宣布推出配備 NVIDIA L40S GPU 的新 Amazon EC2 G6e 執行個體和由 L4 GPU 提供支援的 G6 執行個體。新產品可以幫助新創公司、企業和研究人員滿足他們的人工智慧和高擬真圖形需求。

G6e 執行個體旨在處理複雜的工作負載，例如生成式人工智慧和數位孿生應用程式。使用 NVIDIA Omniverse，可以使用來自 AWS IoT TwinMaker、智慧聊天機器人、助理、搜尋和摘要等服務的即時資料來開發、情境化和增強逼真的 3D 模擬。 Amazon Robotics 和 Amazon Fulfillment Center 將能夠整合透過 NVIDIA Omniverse 和 AWS IoT TwinMaker 建置的數位孿生，以最佳化倉庫設計和流程、訓練更聰明的機器人助理並改善對客戶的交付。

L40S GPU 提供高達 1.45 petaflops 的 FP8 效能，並配備光線追蹤核心，可提供高達 209 teraflops 的光線追蹤效能。 G6 執行個體中配備的 L4 GPU 將為部署用於自然語言處理、語言翻譯、人工智慧影片和影像分析、語音辨識和個人化的人工智慧模型提供低成本、高能效的解決方案。L40S GPU 還可以加速圖形工作負載，例如創建和渲染即時、電影品質的圖形和遊戲串流。以上這三個執行個體都將在明年推出。

AWS 上的 NVIDIA 軟體促進生成式人工智慧開發

此外，NVIDIA 也宣佈在 AWS 上推出軟體來促進生成式人工智慧開發。NVIDIA NeMo™ Retriever 微服務提供了新工具，可使用加速語意檢索來建立高度準確的聊天機器人和摘要工具。NVIDIA BioNeMo™ 現已在 Amazon SageMaker 上提供，並將在 AWS 上的 NVIDIA DGX Cloud 提供，使製藥公司能夠使用自己的資料簡化和加速模型訓練，從而加速藥物探索。

AWS 上的 NVIDIA 軟體正在協助 Amazon 為其服務和營運帶來新的創新。 AWS 正在使用 NVIDIA NeMo 框架來訓練精選的下一代 Amazon Titan 大型語言模型。 Amazon Robotics 已開始利用 NVIDIA Omniverse Isaac 建置數位孿生，以便在部署到現實世界之前，在虛擬環境中自動化、最佳化和規劃其自主倉庫。