在過去十五年內，有越來越多企業將傳統的 IT 應用程式，從內部部署移轉至公用雲端。此變革的第一階段稱為「企業雲端轉型」，企業可以受益於雲端的規模、專業知識和靈活性。現在，已進入此變革的第二階段，由 IoT、5G、邊緣運算和 AI 共同推動的「邊緣 AI 雲端轉型」。它為新的邊緣端 AI 服務開創無限可能，這些服務將會改變許多產業。企業和政府將會提供各種新服務，以獲得邊緣端 AI 的價值，包括智慧城市、自動駕駛車、工業 4.0、智慧零售和遠距醫療。
在數千億個裝置產生可行動化資料的世界，網路架構需要典範轉移。5G 崛起可帶來更高的資料速度和執行網路切分的能力，讓網路即服務可以交付各種邊緣端應用程式與服務。許多邊緣端服務皆仰賴超低延遲鏈路，而不適用在集中位置處理所有資料的傳統雲端 IT 方法。因此，邊緣運算崛起，使處理資料的位置更接近產生資料的裝置，以及使用資料的終端使用者或消費者。邊緣運算可以最佳化這些新服務的頻寬利用率、降低延遲．並確保更高的隱密性。此變革的新階段是由 AI 推動，促進邊緣資料中心的創新，進而從來自感測器的原始資料中產生價值，以獲得即時洞見。因此，這些未來應用稱為邊緣端 AI 服務。
NVIDIA 與 Mavenir 合作，為智慧影像分析（Intelligent Video Analytics，IVA）打造加速高效率邊緣端 AI 解決方案。NVIDIA Metropolis 等 IVA 應用程式框架，可以理解攝影機和感測器產生的大量資料。它們透過提供智慧交通和停車系統，協助推動智慧城市或實現工業自動化的進步，以提高生產力及減少浪費。
NVIDIA-Mavenir 高效率加速 IVA 解決方案
NVIDIA 與 Mavenir 合作開發邊緣端 AI 使用案例，主要著重於都市地區或工業園區中的即時物件偵測。該解決方案可以偵測目標物件，可能之應用包括在機場停車場中監控智慧停車、防止郵件盜竊，或協調機器人車輛。
如圖 1 所示，NVIDIA 與 Mavenir 的端對端解決方案，可以接收與 5G 連線之攝影機產生的視訊資料流，並可透過經由 NVIDIA smartNIC 能力加速的 Mavenir 5G Core 使用者平面功能（User Plane Function，UPF），傳遞至 NVIDIA Metropolis 平台。這些都是在超融合 2RU NVIDIA EGX 邊緣伺服器中執行。這些分散的基礎架構元件互相結合，可以為公用和私有 5G 客戶提供加速高效率 AI 驅動邊緣 IVA 解決方案。
封包流程：封包的運作方式
如圖 2 所示，攝影機將視訊傳送至平台。這些攝影機提供的視訊框封包，是經由 Uu 連線流向模擬 RAN。RAN 透過 N3 連線，將封包傳遞至 Mavenir 5G UPF 的 GPRS 穿隧協定（GTP）隧道。NVIDIA ConnectX-6 Dx SmartNIC 可以分擔與加快 UPF 的封包處理，並繼續透過 N6 連線，將來自 GTP 隧道的封包傳遞至 EGX 邊緣伺服器。NVIDIA Metropolis IVA 邊緣端 AI 平台可執行視訊分析及輸出視覺化資料，以運用這些資料驅動其他應用程式，根據分析的資料採取行動。
每一個攝影機皆是以 720p 解析度和 4 Mbps 頻寬進行串流。該使用案例具有 160 個攝影機，因此每一個網路切片的聚合頻寬可達到 640 Mbps。有效率地利用系統，已成為提供具有高效率和經濟可行性之解決方案的關鍵。
UPF 在 5G Core 中扮演關鍵角色
5G Core 為此聯合解決方案的關鍵元件之一。此聯合解決方案特別著重之層面，為如何利用硬體卸載加快 5G 系統的元件。我們可以證明卸載 Mavenir UPF 的元件，以提供最有效率之服務和傳輸量帶來的效益。
圖 3：3GPP 5G 架構。 如圖 3 所示，UPF 是 3GPP 5G Core 規格中的關鍵元件。它可視為 5G 網路的骨幹。UPF 提供一端之 RAN/MEC 與另一端之資料網路之間的鏈路，確保能有效率地傳遞資料通過系統。
UPF 是由 5G Core 的工作階段管理功能（SMF）元件管理。SMF 是根據定義的業務規則，為通過 UPF 的移動封包定義規則。因此，UPF 的角色之一是剖析傳入封包中的工作階段或使用者資訊，並將其與 SMF 定義的規則進行比對。
透過 5G 建立的連線（在 3GPP 協定中稱為 N3 和 N9）是以 GTP 為基礎。UPF 在封包通過此 GTP 隧道時處理封包解封裝和封裝。此外，UPF 亦負責處理封包傳遞和轉送、封包檢查、實施服務品質（QoS），以及網路位址轉譯（NAT）。UPF 的工作包括管理封包的接收端調整（RSS）、平衡封包的負載，並導向至 UPF 伺服器內部的不同核心，以進行處理。
多種角色提供了利用硬體卸載加快 UPF 效能的眾多機會。
傳統的虛擬網路功能（VNF）通常是在通用 CPU 上執行。雖然它們很靈活，但是，擴充性以及對各種工作負載的反應有限。NVIDIA 網路技術是使用 smartNIC、DPU 等實體硬體，高速執行封包處理任務。重點在於管理 NIC 表中的流程規則，將傳入封包與預先定義的規則進行比對。NVIDIA Mellanox ASAP2 是以開放原始碼為基礎的旗艦技術，可在雲端、虛擬化和裸機環境中實現加速切換和封包處理。
相較於軟體，硬體可以更有效率地執行卸載的功能。因此，能以更高的傳輸量和更低的延遲執行運算。此外，卸載可以釋放 CPU ．以處理其他任務，而不是進行封包處理。
ASAP2 可將 UPF 功能卸載至硬體
如圖 5 所示，在非加速環境中，UPF 是透過 N3 或 N9 介面，從 gNodeB 接收封包。UPF 伺服器中的調度器在執行緒或核心後負責 RSS。調度器可取得封包，並將其導向眾多工作執行緒或虛擬核心的其中之一。之後，這些核心會處理 UPF 工作流程的其餘部分：
- 針對透過訂閱者之 IP 位址識別的特定訂閱者規則進行初始比對
- GTP 封裝／解封裝（根據通過 GTP 隧道的資料流程）以擷取特定訂閱者 IP 位址
- 擷取工作階段資料是根據 SMF 規則進行處理
- 執行以業務為中心的任務，例如 QoS 以及封包計費和計數
- 重寫 NAT 的封包標頭，然後將傳送至資料網路或 5G 系統中下一個躍點的封包排入佇列。
此過程會佔用大量的 CPU 資源，且效率很低。我們可以證明使封包處理通過工作流程，並在 smartNIC 中 ，而非 CPU 中執行的優勢。目前與 Mavenir 的合作，已分兩階段證明此卸載。
如圖 6 所示，第一個卸載階段著重於封包分類、流程標記、GTP 封裝／解封裝，以及 RSS。
從 GNodeB 接收封包時，NIC 會針對 IPv4 和工作階段標頭執行規則比對。NIC 是以此方式理解工作階段脈絡，並執行 RSS 功能，將封包調派至對應的工作執行緒。此卸載會立即釋放調度器核心，以執行其他任務。
在更進階的第二階段中，UPF 工作的其他元件會卸載至 NIC。此過程包括流程標記，可以在將封包與多個表格比對時，維持保留在工作階段中的比對脈絡。
NIC 在執行初始規則比對之後，會持續執行 GTP 封裝／解封裝，並會標示封包，以進行流程標記，然後將封包調派至工作核心。
如同第一階段卸載，將會釋放調度器核心。同時有更多效益。GTP 封裝／解封裝的負擔已經降低，且減少了一些 UPF 軟體比對需要的 CPU 搜尋週期。此外，FlowTag 標示透過創造可感知親和性的 RSS，大幅提升了 UPF 處理。當系統識別出封包時，可以將其傳送至特定執行緒進行處理，而非僅扮演可感知工作執行緒及核心親和性的負載平衡器。
未來的開發目標是將更多 UPF 工作流程功能卸載至硬體，進一步提高系統效率。
5GC UPF 卸載的效能益處
在測試系統之後，證明將 UPF 功能卸載至 smartNIC 具有明顯的優勢。在視訊資料流通過 RAN，進入 UPF，朝邊緣 AI 推送的情況下進行測試。
Mavenir UPF 軟體是設定為使用 32 個虛擬快速路徑核心執行。如圖 7 的基準測試所示，視訊資料流在無任何硬體卸載的情況下通過 UPF。此測試顯示，32 個快速路徑核心可達到 524 Gbps 的最大傳輸量。
當 SmartNIC UPF 卸載開啟時，即會看到驚人的效能，且不會犧牲整體 IVA 解決方案的效率。若需要更多資訊，請觀看 2020 年秋季 GTC Fall 2020 講座 Edge AI Meets 5G:Efficient and Accelerated Intelligent Video Analytics (IVA)。