在過去十五年內,有越來越多企業將傳統的 IT 應用程式,從內部部署移轉至公用雲端。此變革的第一階段稱為「企業雲端轉型」,企業可以受益於雲端的規模、專業知識和靈活性。現在,已進入此變革的第二階段,由 IoT、5G、邊緣運算和 AI 共同推動的「邊緣 AI 雲端轉型」。它為新的邊緣端 AI 服務開創無限可能,這些服務將會改變許多產業。企業和政府將會提供各種新服務,以獲得邊緣端 AI 的價值,包括智慧城市、自動駕駛車、工業 4.0、智慧零售和遠距醫療。
在數千億個裝置產生可行動化資料的世界,網路架構需要典範轉移。5G 崛起可帶來更高的資料速度和執行網路切分的能力,讓網路即服務可以交付各種邊緣端應用程式與服務。許多邊緣端服務皆仰賴超低延遲鏈路,而不適用在集中位置處理所有資料的傳統雲端 IT 方法。因此,邊緣運算崛起,使處理資料的位置更接近產生資料的裝置,以及使用資料的終端使用者或消費者。邊緣運算可以最佳化這些新服務的頻寬利用率、降低延遲.並確保更高的隱密性。此變革的新階段是由 AI 推動,促進邊緣資料中心的創新,進而從來自感測器的原始資料中產生價值,以獲得即時洞見。因此,這些未來應用稱為邊緣端 AI 服務。
NVIDIA 與 Mavenir 合作,為智慧影像分析(Intelligent Video Analytics,IVA)打造加速高效率邊緣端 AI 解決方案。NVIDIA Metropolis 等 IVA 應用程式框架,可以理解攝影機和感測器產生的大量資料。它們透過提供智慧交通和停車系統,協助推動智慧城市或實現工業自動化的進步,以提高生產力及減少浪費。
NVIDIA-Mavenir 高效率加速 IVA 解決方案
NVIDIA 與 Mavenir 合作開發邊緣端 AI 使用案例,主要著重於都市地區或工業園區中的即時物件偵測。該解決方案可以偵測目標物件,可能之應用包括在機場停車場中監控智慧停車、防止郵件盜竊,或協調機器人車輛。
如圖 1 所示,NVIDIA 與 Mavenir 的端對端解決方案,可以接收與 5G 連線之攝影機產生的視訊資料流,並可透過經由 NVIDIA smartNIC 能力加速的 Mavenir 5G Core 使用者平面功能(User Plane Function,UPF),傳遞至 NVIDIA Metropolis 平台。這些都是在超融合 2RU NVIDIA EGX 邊緣伺服器中執行。這些分散的基礎架構元件互相結合,可以為公用和私有 5G 客戶提供加速高效率 AI 驅動邊緣 IVA 解決方案。
封包流程:封包的運作方式
如圖 2 所示,攝影機將視訊傳送至平台。這些攝影機提供的視訊框封包,是經由 Uu 連線流向模擬 RAN。RAN 透過 N3 連線,將封包傳遞至 Mavenir 5G UPF 的 GPRS 穿隧協定(GTP)隧道。NVIDIA ConnectX-6 Dx SmartNIC 可以分擔與加快 UPF 的封包處理,並繼續透過 N6 連線,將來自 GTP 隧道的封包傳遞至 EGX 邊緣伺服器。NVIDIA Metropolis IVA 邊緣端 AI 平台可執行視訊分析及輸出視覺化資料,以運用這些資料驅動其他應用程式,根據分析的資料採取行動。
每一個攝影機皆是以 720p 解析度和 4 Mbps 頻寬進行串流。該使用案例具有 160 個攝影機,因此每一個網路切片的聚合頻寬可達到 640 Mbps。有效率地利用系統,已成為提供具有高效率和經濟可行性之解決方案的關鍵。
UPF 在 5G Core 中扮演關鍵角色
5G Core 為此聯合解決方案的關鍵元件之一。此聯合解決方案特別著重之層面,為如何利用硬體卸載加快 5G 系統的元件。我們可以證明卸載 Mavenir UPF 的元件,以提供最有效率之服務和傳輸量帶來的效益。
圖 3:3GPP 5G 架構。 如圖 3 所示,UPF 是 3GPP 5G Core 規格中的關鍵元件。它可視為 5G 網路的骨幹。UPF 提供一端之 RAN/MEC 與另一端之資料網路之間的鏈路,確保能有效率地傳遞資料通過系統。
UPF 是由 5G Core 的工作階段管理功能(SMF)元件管理。SMF 是根據定義的業務規則,為通過 UPF 的移動封包定義規則。因此,UPF 的角色之一是剖析傳入封包中的工作階段或使用者資訊,並將其與 SMF 定義的規則進行比對。
透過 5G 建立的連線(在 3GPP 協定中稱為 N3 和 N9)是以 GTP 為基礎。UPF 在封包通過此 GTP 隧道時處理封包解封裝和封裝。此外,UPF 亦負責處理封包傳遞和轉送、封包檢查、實施服務品質(QoS),以及網路位址轉譯(NAT)。UPF 的工作包括管理封包的接收端調整(RSS)、平衡封包的負載,並導向至 UPF 伺服器內部的不同核心,以進行處理。
多種角色提供了利用硬體卸載加快 UPF 效能的眾多機會。
傳統的虛擬網路功能(VNF)通常是在通用 CPU 上執行。雖然它們很靈活,但是,擴充性以及對各種工作負載的反應有限。NVIDIA 網路技術是使用 smartNIC、DPU 等實體硬體,高速執行封包處理任務。重點在於管理 NIC 表中的流程規則,將傳入封包與預先定義的規則進行比對。NVIDIA Mellanox ASAP2 是以開放原始碼為基礎的旗艦技術,可在雲端、虛擬化和裸機環境中實現加速切換和封包處理。
相較於軟體,硬體可以更有效率地執行卸載的功能。因此,能以更高的傳輸量和更低的延遲執行運算。此外,卸載可以釋放 CPU .以處理其他任務,而不是進行封包處理。
ASAP2 可將 UPF 功能卸載至硬體
如圖 5 所示,在非加速環境中,UPF 是透過 N3 或 N9 介面,從 gNodeB 接收封包。UPF 伺服器中的調度器在執行緒或核心後負責 RSS。調度器可取得封包,並將其導向眾多工作執行緒或虛擬核心的其中之一。之後,這些核心會處理 UPF 工作流程的其餘部分:
- 針對透過訂閱者之 IP 位址識別的特定訂閱者規則進行初始比對
- GTP 封裝/解封裝(根據通過 GTP 隧道的資料流程)以擷取特定訂閱者 IP 位址
- 擷取工作階段資料是根據 SMF 規則進行處理
- 執行以業務為中心的任務,例如 QoS 以及封包計費和計數
- 重寫 NAT 的封包標頭,然後將傳送至資料網路或 5G 系統中下一個躍點的封包排入佇列。
此過程會佔用大量的 CPU 資源,且效率很低。我們可以證明使封包處理通過工作流程,並在 smartNIC 中 ,而非 CPU 中執行的優勢。目前與 Mavenir 的合作,已分兩階段證明此卸載。
如圖 6 所示,第一個卸載階段著重於封包分類、流程標記、GTP 封裝/解封裝,以及 RSS。
從 GNodeB 接收封包時,NIC 會針對 IPv4 和工作階段標頭執行規則比對。NIC 是以此方式理解工作階段脈絡,並執行 RSS 功能,將封包調派至對應的工作執行緒。此卸載會立即釋放調度器核心,以執行其他任務。
在更進階的第二階段中,UPF 工作的其他元件會卸載至 NIC。此過程包括流程標記,可以在將封包與多個表格比對時,維持保留在工作階段中的比對脈絡。
NIC 在執行初始規則比對之後,會持續執行 GTP 封裝/解封裝,並會標示封包,以進行流程標記,然後將封包調派至工作核心。
如同第一階段卸載,將會釋放調度器核心。同時有更多效益。GTP 封裝/解封裝的負擔已經降低,且減少了一些 UPF 軟體比對需要的 CPU 搜尋週期。此外,FlowTag 標示透過創造可感知親和性的 RSS,大幅提升了 UPF 處理。當系統識別出封包時,可以將其傳送至特定執行緒進行處理,而非僅扮演可感知工作執行緒及核心親和性的負載平衡器。
未來的開發目標是將更多 UPF 工作流程功能卸載至硬體,進一步提高系統效率。
5GC UPF 卸載的效能益處
在測試系統之後,證明將 UPF 功能卸載至 smartNIC 具有明顯的優勢。在視訊資料流通過 RAN,進入 UPF,朝邊緣 AI 推送的情況下進行測試。
Mavenir UPF 軟體是設定為使用 32 個虛擬快速路徑核心執行。如圖 7 的基準測試所示,視訊資料流在無任何硬體卸載的情況下通過 UPF。此測試顯示,32 個快速路徑核心可達到 524 Gbps 的最大傳輸量。
當 SmartNIC UPF 卸載開啟時,即會看到驚人的效能,且不會犧牲整體 IVA 解決方案的效率。若需要更多資訊,請觀看 2020 年秋季 GTC Fall 2020 講座 Edge AI Meets 5G:Efficient and Accelerated Intelligent Video Analytics (IVA)。