為什麼全新 NVIDIA Grace Hopper 超級晶片是新一代推薦系統的理想選擇

透過 Grace Hopper 超級晶片,協助使用者個人化網際網路的大型人工智慧模型效能將提升至全新境界
作者 NVIDIA

推薦系統是網際網路的經濟引擎,現在也獲得全新的加成動能:NVIDIA Grace Hopper 超級晶片

推薦系統每天都會為數十億人提供上兆的搜尋結果、廣告、產品、音樂和新聞報導。推薦系統能在網際網路世界的一團混亂中,找到使用者想要的寶貴資訊,是我們這個時代最重要的人工智慧模型之一。

這些機器學習流程會執行數 TB 的資料。推薦系統使用越多資料,結果越準確,投資報酬率就越高。

為了處理海嘯般的資料量,企業已採用加速運算技術,為客戶提供個人化服務。Grace Hopper 則將這些技術提升至全新境界。

GPU 可將互動率提高 16%

Pinterest 這家共享影像社群媒體公司在採用 NVIDIA GPU 後,將推薦模型擴大 100 倍,並讓他們 4 億多名使用者的互動率提高 16%。

該公司的一位軟體工程師在最近的一篇部落格文章說:「通常,只要有 2% 的提升就很令人開心了,而 16% 的提升只不過是個開始。我們得到額外的收益,這也帶來更多機會。」

Recommendation systems on Grace Hopper
推薦系統會使用數十 TB 的嵌入資料表格,提供背景資訊支援準確預測。

新一代 NVIDIA 人工智慧平台有望為使用超大型推薦模型處理大量資料集的公司,帶來更大收益。

由於資料是人工智慧的動力,Grace Hopper 的設計目的是透過推薦系統傳輸更多資料,並超越地球上其他任何處理器。

NVLink 加速 Grace Hopper

Grace Hopper 之所以能達到此成果,是因為這是將兩個晶片融入一個單元的超級晶片,並共用超快速的晶片對晶片互連技術。設計上是一個採用 Arm 架構的 NVIDIA Grace CPU 與一個 Hopper GPU 透過 NVIDIA NVLink-C2C 互連。

此外,NVLink 也將許多超級晶片連結到超級系統,這是專為執行 TB 級推薦系統而打造的運算叢集

NVLink 以每秒高達 900 GB 的速度傳輸資料,比起即將推出的最頂尖系統使用的 PCIe 第 5 代互連技術,頻寬提高 7 倍。

這表示 Grace Hopper 可向推薦系統提供的嵌入內容 (包含背景資訊的資料表格),比系統為使用者個人化結果時所需要的資料多 7 倍。

更多的記憶體、更高的效率

Grace CPU 採用 LPDDR5X,此記憶體在頻寬、能源效率和推薦系統及其他嚴苛工作負載成本之間取得最佳平衡。此記憶體的頻寬增加 50%,同時比起傳統的 DDR5 記憶體子系統,每 GB 所需消耗的功率只要八分之一。

叢集中的任何 Hopper GPU 都可以透過 NVLink 存取 Grace 的記憶體。這是 Grace Hopper 的功能,可提供史上最大的 GPU 記憶體池。

此外,NVLink-C2C 傳輸每位元資料時,只需消耗 1.3 皮焦耳,能源效率是第 5 代 PCIe 的 5 倍以上。

整體結果是,與使用傳統 CPU 的 Hopper 相比,推薦系統使用 Grace Hopper 時,效能提升 4 倍,效率也更高 (請見下方圖表)。

Grace Hopper accelerates recommenders

您需要的所有軟體

Grace Hopper 超級晶片執行當今全球一些最大推薦系統中使用的完整 NVIDIA 人工智慧軟體堆疊。

NVIDIA Merlin 是推薦系統的強大動力來源,集結一系列打造人工智慧系統的模型、方法和函式庫,可改善預測成果和增加點擊率。

NVIDIA Merlin HugeCTR 推薦系統框架在 NVIDIA 集合通訊函式庫協助下,可協助使用者跨分散式 GPU 叢集,處理大量資料集。

在此技術部落格文章深入瞭解 Grace Hopper 與 NVLink。並觀看這場 GTC 演講,深入瞭解如何打造推薦系統。