使用搭載 Mavenir 和 NVIDIA 邊緣端 AI 的超高效率 5G Core 加快智慧影像分析

作者 NVIDIA

在過去十五年內,有越來越多企業將傳統的 IT 應用程式,從內部部署移轉至公用雲端。此變革的第一階段稱為「企業雲端轉型」,企業可以受益於雲端的規模、專業知識和靈活性。現在,已進入此變革的第二階段,由 IoT、5G、邊緣運算和 AI 共同推動的「邊緣 AI 雲端轉型」。它為新的邊緣端 AI 服務開創無限可能,這些服務將會改變許多產業。企業和政府將會提供各種新服務,以獲得邊緣端 AI 的價值,包括智慧城市、自動駕駛車、工業 4.0、智慧零售和遠距醫療。

在數千億個裝置產生可行動化資料的世界,網路架構需要典範轉移。5G 崛起可帶來更高的資料速度和執行網路切分的能力,讓網路即服務可以交付各種邊緣端應用程式與服務。許多邊緣端服務皆仰賴超低延遲鏈路,而不適用在集中位置處理所有資料的傳統雲端 IT 方法。因此,邊緣運算崛起,使處理資料的位置更接近產生資料的裝置,以及使用資料的終端使用者或消費者。邊緣運算可以最佳化這些新服務的頻寬利用率、降低延遲.並確保更高的隱密性。此變革的新階段是由 AI 推動,促進邊緣資料中心的創新,進而從來自感測器的原始資料中產生價值,以獲得即時洞見。因此,這些未來應用稱為邊緣端 AI 服務。

NVIDIA 與 Mavenir 合作,為智慧影像分析(Intelligent Video Analytics,IVA)打造加速高效率邊緣端 AI 解決方案。NVIDIA Metropolis 等 IVA 應用程式框架,可以理解攝影機和感測器產生的大量資料。它們透過提供智慧交通和停車系統,協助推動智慧城市或實現工業自動化的進步,以提高生產力及減少浪費。

NVIDIA-Mavenir 高效率加速 IVA 解決方案

NVIDIA 與 Mavenir 合作開發邊緣端 AI 使用案例,主要著重於都市地區或工業園區中的即時物件偵測。該解決方案可以偵測目標物件,可能之應用包括在機場停車場中監控智慧停車、防止郵件盜竊,或協調機器人車輛。

NVIDIA Metropolis runs Mavenir’s 5G Core UPF and the NVIDIA DeepStream platform to accelerate Intelligent Video Analytics (IVA), processing the flood of data created by trillions of cameras and sensors and streamed over wireless networks.
1Mavenir-NVIDIA 端對端 IVA 解決方案可以支援智慧城市、無接觸零售、工廠光學檢測等應用。

如圖 1 所示,NVIDIA 與 Mavenir 的端對端解決方案,可以接收與 5G 連線之攝影機產生的視訊資料流,並可透過經由 NVIDIA smartNIC 能力加速的 Mavenir 5G Core 使用者平面功能(User Plane Function,UPF),傳遞至 NVIDIA Metropolis 平台。這些都是在超融合 2RU NVIDIA EGX 邊緣伺服器中執行。這些分散的基礎架構元件互相結合,可以為公用和私有 5G 客戶提供加速高效率 AI 驅動邊緣 IVA 解決方案。

封包流程:封包的運作方式

Mavenir’s 5G packet core platform accelerated by NVIDIA SmartNIC transforms enterprise digitization efforts through a highly scalable, fully automated, and cloud-native edge that feeds rich media data to NVIDIA Metropolis.
2:封包流經加速高效率 IVA 解決方案的不同元件。

如圖 2 所示,攝影機將視訊傳送至平台。這些攝影機提供的視訊框封包,是經由 Uu 連線流向模擬 RAN。RAN 透過 N3 連線,將封包傳遞至 Mavenir 5G UPF 的 GPRS 穿隧協定(GTP)隧道。NVIDIA ConnectX-6 Dx SmartNIC 可以分擔與加快 UPF 的封包處理,並繼續透過 N6 連線,將來自 GTP 隧道的封包傳遞至 EGX 邊緣伺服器。NVIDIA Metropolis IVA 邊緣端 AI 平台可執行視訊分析及輸出視覺化資料,以運用這些資料驅動其他應用程式,根據分析的資料採取行動。

每一個攝影機皆是以 720p 解析度和 4 Mbps 頻寬進行串流。該使用案例具有 160 個攝影機,因此每一個網路切片的聚合頻寬可達到 640 Mbps。有效率地利用系統,已成為提供具有高效率和經濟可行性之解決方案的關鍵。

UPF 在 5G Core 中扮演關鍵角色

5G Core 為此聯合解決方案的關鍵元件之一。此聯合解決方案特別著重之層面,為如何利用硬體卸載加快 5G 系統的元件。我們可以證明卸載 Mavenir UPF 的元件,以提供最有效率之服務和傳輸量帶來的效益。

A hyperconverged EGX edge server demonstrates how disaggregated infrastructure components come together to deliver an accelerated and efficient Edge AI IVA solution for public and private 5G customers.

33GPP 5G 架構。 如圖 3 所示,UPF 是 3GPP 5G Core 規格中的關鍵元件。它可視為 5G 網路的骨幹。UPF 提供一端之 RAN/MEC 與另一端之資料網路之間的鏈路,確保能有效率地傳遞資料通過系統。

UPF 是由 5G Core 的工作階段管理功能(SMF)元件管理。SMF 是根據定義的業務規則,為通過 UPF 的移動封包定義規則。因此,UPF 的角色之一是剖析傳入封包中的工作階段或使用者資訊,並將其與 SMF 定義的規則進行比對。

透過 5G 建立的連線(在 3GPP 協定中稱為 N3 和 N9)是以 GTP 為基礎。UPF 在封包通過此 GTP 隧道時處理封包解封裝和封裝。此外,UPF 亦負責處理封包傳遞和轉送、封包檢查、實施服務品質(QoS),以及網路位址轉譯(NAT)。UPF 的工作包括管理封包的接收端調整(RSS)、平衡封包的負載,並導向至 UPF 伺服器內部的不同核心,以進行處理。

多種角色提供了利用硬體卸載加快 UPF 效能的眾多機會。

Diagram shows how Flow based packet classification and actions are offloaded and handled at line rate by an embedded switch within the NIC/vNIC.
4:封包轉送的硬體卸載過程。

傳統的虛擬網路功能(VNF)通常是在通用 CPU 上執行。雖然它們很靈活,但是,擴充性以及對各種工作負載的反應有限。NVIDIA 網路技術是使用 smartNIC、DPU 等實體硬體,高速執行封包處理任務。重點在於管理 NIC 表中的流程規則,將傳入封包與預先定義的規則進行比對。NVIDIA Mellanox ASAP2 是以開放原始碼為基礎的旗艦技術,可在雲端、虛擬化和裸機環境中實現加速切換和封包處理。

相較於軟體,硬體可以更有效率地執行卸載的功能。因此,能以更高的傳輸量和更低的延遲執行運算。此外,卸載可以釋放 CPU .以處理其他任務,而不是進行封包處理。

ASAP2 可將 UPF 功能卸載至硬體

Software UPF processing consumes computing cycles from the CPU, competing with applications for cores and resulting in poor compute and networking efficiency.
5:無硬體加速的 UPF 工作流程。

如圖 5 所示,在非加速環境中,UPF 是透過 N3 或 N9 介面,從 gNodeB 接收封包。UPF 伺服器中的調度器在執行緒或核心後負責 RSS。調度器可取得封包,並將其導向眾多工作執行緒或虛擬核心的其中之一。之後,這些核心會處理 UPF 工作流程的其餘部分:

  • 針對透過訂閱者之 IP 位址識別的特定訂閱者規則進行初始比對
  • GTP 封裝/解封裝(根據通過 GTP 隧道的資料流程)以擷取特定訂閱者 IP 位址
  • 擷取工作階段資料是根據 SMF 規則進行處理
  • 執行以業務為中心的任務,例如 QoS 以及封包計費和計數
  • 重寫 NAT 的封包標頭,然後將傳送至資料網路或 5G 系統中下一個躍點的封包排入佇列。

此過程會佔用大量的 CPU 資源,且效率很低。我們可以證明使封包處理通過工作流程,並在 smartNIC 中 ,而非 CPU 中執行的優勢。目前與 Mavenir 的合作,已分兩階段證明此卸載。

Accelerating UPF processing by offloading the packet processing pipeline from the CPU to the NVIDIA SmartNIC results in the highest 5GC Efficiency. Offloads and acceleration include classification, GTP encap/decap, MARK, and RSS queuing.
6:具有部分硬體加速的 UPF 工作流程。

如圖 6 所示,第一個卸載階段著重於封包分類、流程標記、GTP 封裝/解封裝,以及 RSS。

從 GNodeB 接收封包時,NIC 會針對 IPv4 和工作階段標頭執行規則比對。NIC 是以此方式理解工作階段脈絡,並執行 RSS 功能,將封包調派至對應的工作執行緒。此卸載會立即釋放調度器核心,以執行其他任務。

在更進階的第二階段中,UPF 工作的其他元件會卸載至 NIC。此過程包括流程標記,可以在將封包與多個表格比對時,維持保留在工作階段中的比對脈絡。

NIC 在執行初始規則比對之後,會持續執行 GTP 封裝/解封裝,並會標示封包,以進行流程標記,然後將封包調派至工作核心。

如同第一階段卸載,將會釋放調度器核心。同時有更多效益。GTP 封裝/解封裝的負擔已經降低,且減少了一些 UPF 軟體比對需要的 CPU 搜尋週期。此外,FlowTag 標示透過創造可感知親和性的 RSS,大幅提升了 UPF 處理。當系統識別出封包時,可以將其傳送至特定執行緒進行處理,而非僅扮演可感知工作執行緒及核心親和性的負載平衡器。

未來的開發目標是將更多 UPF 工作流程功能卸載至硬體,進一步提高系統效率。

5GC UPF 卸載的效能益處

在測試系統之後,證明將 UPF 功能卸載至 smartNIC 具有明顯的優勢。在視訊資料流通過 RAN,進入 UPF,朝邊緣 AI 推送的情況下進行測試。

Comparison testing utilizing hardware offloads showed a dramatic performance improvement over tests run with GTP RSS only.
7UPF 效能結果(無硬體卸載)。

Mavenir UPF 軟體是設定為使用 32 個虛擬快速路徑核心執行。如圖 7 的基準測試所示,視訊資料流在無任何硬體卸載的情況下通過 UPF。此測試顯示,32 個快速路徑核心可達到 524 Gbps 的最大傳輸量。

當 SmartNIC UPF 卸載開啟時,即會看到驚人的效能,且不會犧牲整體 IVA 解決方案的效率。若需要更多資訊,請觀看 2020 年秋季 GTC Fall 2020 講座 Edge AI Meets 5G:Efficient and Accelerated Intelligent Video Analytics (IVA)