邊緣運算就跟甜甜圈一樣，擺放在愈靠近消費者的地方愈是理想。
想吃點什麼的時候，想到還要花時間走去街角的甜甜圈店，就覺得意興闌珊；要是放盒甜甜圈在辦公桌旁邊，一伸手就能拿到，馬上就能心滿意足。
邊緣運算也是這樣，在處理資料的過程中，把資料傳到在雲端環境裡運行的人工智慧應用程式，勢必會慢一點才能拿到答案；要是傳到鄰近的邊緣伺服器，就像是直接從手邊粉紅色包裝盒中拿起一個糖霜甜甜圈一樣簡單方便。
很有可能你在這個當下便享受著邊緣運算帶來的便捷，而這種體驗來自於你口袋裡的智慧型手機。存在於電信網路「邊緣」的最新款智慧型手機，能夠以更聰明的方式處理語音應答內容和拍攝出更好看的照片。
已經講了幾十年的邊緣運算，這個概念便是在盡量靠近來源處取得和處理資料。
邊緣運算要求在會收集到幾 GB，甚至是幾 TB 等海量串流資料的地方進行處理，像是自動駕駛車、工廠內的機器人、醫院裡的醫療影像機器、零售店面內收銀台的攝影機等應用項目，都要依賴邊緣運算技術。
據估計到2025年時會有1500億台機器感應器及物聯網裝置會源源不絕傳輸各項資料，而這些資料都需要加以處理。
5G 網路的出現，其速度較 4G 網路快上十倍，開啟了增加人工智慧服務數量的可能性，而這也進一步推增對邊緣運算的需求。
從智慧型手機到一切都變得更有智慧
Google、Apple 及 Samsung 的新款智慧型手機皆加入了更強大的人工智慧處理能力，以便更深入理解使用者的問題，且使用計算攝影技術在幾毫秒內讓用戶拍攝的照片變得更好看。
只是從物聯網裝置中流出的海量資料，比起人們使用智慧型手機所產生的資料量，更是高出不知道多少。
眾多連網車輛、機器人、無人機、行動裝置、攝影機及物聯網感應器，再加上醫學影像設備，均對邊緣運算提出更高的需求。這些要用到龐大運算作業的工作量，其所使用的海量資料，要求高性能邊緣運算部署人工智慧。
當前分秒必爭的人工智慧運算作業需要進行邊緣運算，以減少在遠端伺服器上往返傳輸資料進行處理所造成的延遲及頻寬問題。
邊緣運算的運作方式
集中管理伺服器的資料中心通常位於空間成本和電費較低廉的地方，就算是使用最高速的光纖網路，傳輸資料的速度也不會比光速還快。在遠端傳輸資料之際，資料與資料中心之間的物理距離，成為出現延遲的原因。
邊緣運算倒是能解決這個問題。
邊緣運算可以在多個網路節點上運行，拉近資料和處理器之間的物理距離，以減少中間出現的瓶頸及加快應用程式的執行速度。
網路週邊運行著數十億個搭載小型嵌入式處理器的物聯網及行動裝置，它們最適合用來處理影片等基本應用項目。
要是當前全球各行各業及市政部門未將人工智慧用於物聯網裝置產生出的資料，那倒也相安無事，不過他們開發和運行要用到密集運算的模型，此時就需要對傳統邊緣運算採取新的作法。
將邊緣運算用於城市是什麼情況？
多間《財星》500大企業與新創公司均協助市政部門在網路邊緣加入人工智慧，像是部分城市開發人工智慧應用程式，以求紓解塞車之苦及提高交通安全。
Verizon 使用 NVIDIA Metropolis 物聯網應用框架，結合 Jetson 的深度學習能力，可以分析多個串流影片資料，以尋找改善車流量、提高行人安全、解決都會區停車問題等情況的方法。
位在加拿大安大略省的新創公司 Miovision Technologies，利用深度神經網路分析自家攝像機及取自城市基礎設施的資料，以最佳方式控制交通號誌和保持車輛暢行無阻。
NVIDIA Jetson 小巧的超級運算模組加上 NVIDIA Metropolis 提供的改善見解所組合出的邊緣運算，可以加快 Miovision 與其它業者在這個領域的研究成果。高效節能的 Jetson 可以同時應付多個傳入的影片內容，以便人工智慧進行後續處理。這個組合為網路瓶頸及塞車情況提供了解決的替代方案。
邊緣運算也在不斷擴展。NVIDIA Metropolis 這般的產業應用程式框架及第三方的人工智慧應用程式都在 NVIDIA EGX 平台上運行，以獲得最佳性能。
邊緣運算為人工智慧的優點
將邊緣運算用於人工智慧有著諸多優點，像是把人工智慧運算技術帶到產生資料的地方，包括智慧零售、醫療保健、製造生產、交通運輸及智慧城市。
計算領域的這種轉變為企業提供了新的服務機會，且提高企業的運作效率和節約成本。
與運行 CPU 機架的傳統邊緣伺服器不同，從 Jetson 系列的超級運算模組到完整機架的 NVIDIA T4 伺服器，體積較為輕盈小巧的 NVIDIA EGX 平台提供了跨 NVIDIA AI 的相容性。
為人工智慧運行邊緣運算的企業，可靈活將低延遲性人工智慧應用程式部署於小巧的 NVIDIA Jetson Nano 上。NVIDIA Jetson Nano 這般小巧的超級電腦耗電量只有幾瓦特，每秒鐘可對影像辨識等任務進行五千億次的運算。
一組 NVIDIA T4 機架伺服器每秒可針對最嚴苛的即時語音辨識，以及其它有著吃重運算之人工智慧任務，執行超過一萬兆次的運算。
在人工智慧驅動的邊緣網路週邊進行更新，也不是什麼難事。EGX 軟體堆疊在 Linux 和 Kubernetes 上運行，可以從雲端或邊緣伺服器進行遠端更新，以不斷提升應用程式。
NVIDIA EGX 伺服器也針對 CUDA 加速的容器進行調校。
企業邊緣運算與人工智慧服務
全球最大的零售商紛紛開始採用邊緣人工智慧，以打造智慧零售商店。智慧影片分析、人工智慧庫存管理，加上客戶與商店分析，這些功能共同讓零售商享受更高的利潤，也創造出讓客戶享受更佳體驗的機會。
使用 NVIDIA EGX 平台的 Walmart 可以即時運算每秒鐘產生出的 1.6 TB 資料量。它能夠使用人工智慧完成各式任務，比如自動提醒員工補貨、回收購物車或開放新的結帳通道。
數百個以上的連網攝影機可以為人工智慧影像辨識模型提供資料，且在本地由 NVIDIA EGX 處理資料，同時 Jetson Nano 在與雲端的 EGX 及 NVIDIA AI 相連的情況下，可以處理遠端小型網路投入的影片。
全自動且有著對話能力的人工智慧機器人監控著商店內的走道，這些機器人搭載著 Jetson AGX Xavier，且運行 Isaac 進行同步定位與地圖構建（SLAM）導航。所有這些功能皆相容於雲端的 EGX 或 NVIDIA AI。
無論使用哪一種應用項目，NVIDIA T4 與 Jetson GPU 都能在邊緣為智慧影片分析和機器學習應用程式提供一個強大的組合。
智慧裝置到感應器融合
工廠、零售商、製造商和汽車製造商產生出的感應器資料，可以透過交叉引用的方式來提升服務品質。
零售商融合各種感應器資料，便能從中找出新的服務項目。機器人不只能使用語音及自然語言處理模型來與客戶進行交談互動，還能使用投入的影片來運行姿態估計模型，藉由串連語音及手勢感應器資訊，就能協助機器人更深入瞭解客戶在找的產品或方向。
融合各種感應器資料可以為汽車製造商開創新的用戶體驗，還能從中獲得競爭優勢。汽車製造商可以使用姿態估計模型來理解司機的視線方向，還能使用自然語言模型來理解駕駛人向車載 GPS 地圖提出的命令。
例如駕駛人開口詢問 7-11 便利商店的位置，此時可以在 GPS 地圖上指向一間 7-11 便利店，然後說「開去這間店買甜甜圈」，駕駛人所乘坐的自動駕駛車會在感應器融合及邊緣人工智慧技術的輔助下，判斷駕駛人要前往的目的地。
將邊緣運算用於遊戲
遊戲玩家以要求高性能、低延遲的計算能力而聞名，而在邊緣提供優質的雲端遊戲能夠滿足其胃口。下一代遊戲應用項目用到虛擬實境、擴增實境和人工智慧等技術，實為一項高難度的挑戰。
電信服務供應商開始採用 NVIDIA RTX 伺服器，讓全球玩家可以享受到經過光線追蹤與人工智慧增強後電影般畫質的影像。這些伺服器支援 NVIDIA 的雲端遊戲服務 GeForce NOW，這項服務能夠在網路邊緣，將能力不足或相容性較差的硬體變成強大的 GeForce 遊戲 PC。
台灣大哥大、韓國的 LG U+、日本的 SoftBank 及俄羅斯的 Rostelecom 皆已宣佈打算推出這項服務給其雲端遊戲客戶。
何謂人工智慧邊緣運算服務？
電信業者有了邊緣人工智慧技術的助力，可以發展提供給客戶的下一代服務，以創造新的收入來源。
使用 NVIDIA EGX 的電信業者可以透過影像辨識模型來分析投入的攝影機影片內容，以協助解決從人流量、監控商店貨架及物流配送等一切事情。
像是一個週六早上某間 7-11 便利商店賣光貨架上的甜甜圈，這間店的店長就會收到需要補貨的提醒。
未來當你一口咬下剛出爐的甜甜圈時，或許都要感謝邊緣運算。
在網路邊緣使用 NVIDIA Jetson 嵌入式運算平台，且透過NVIDIA EGX 平台 伺服器與搭載 NVIDIA Tesla GPU 加速器的資料中心進行高效能深度學習推論作業。
圖片提供：取得 Creative Commons Attribution 2.0 Generic 使用授權。