強大的生成式人工智慧模式、雲端原生 API 和微服務正在走向邊緣。
生成式人工智慧正在將 Transformer 模型和大型語言模型的力量帶入幾乎每個產業。如今觸角已伸到接觸邊緣、機器人和物流系統等領域：瑕疵檢測、即時資產跟蹤、自主規劃和導航、人機互動等等。
NVIDIA 今天宣布 NVIDIA Jetson 平台上邊緣人工智慧和機器人技術兩個框架的重大擴展。NVIDIA Isaac ROS 機器人框架已經正式推出，接下來將推出 Jetson 上 NVIDIA Metropolis 的擴充。
為了加速人工智慧應用在邊緣的開發和部署，NVIDIA還為Jetson開發人員創建了一個 Jetson Generative AI Lab 供他們使用最新的開源生成式人工智慧模型。
超過 120 萬開發者和超過 10,000 名客戶選擇了 NVIDIA AI 和 Jetson 平台，其中包括 Amazon Web Services、思科、強鹿公司、美敦力、百事公司和西門子。
隨著人工智慧領域的快速發展，解決日益複雜的場景，開發人員在建立邊緣人工智慧應用程式時面臨更長開發週期的挑戰。 對機器人和人工智慧系統重新進行程式設計以滿足不斷變化的環境、生產線和客戶動態的自動化需求是非常耗時和需要專業技能。
生成式人工智慧提供零樣本學習，即模型能夠識別在之前訓練中未見過的事物的能力，並透過自然語言介面簡化邊緣人工智慧的開發、部署和管理。
「改變」人工智慧格局
生成式人工智慧透過理解人類語言提示顯著地提高了易用性以進行模型更改。 這些人工智慧模型可以更靈活地檢測、分割、追蹤、搜尋，甚至重新程式設計， 有助於超越傳統的基於卷積神經網路 （convolutional neural network）的模型。
根據 ABI Research 的資料，生成式人工智慧在 2033 年將為全球製造業新增 105 億美元的收入。
NVIDIA 嵌入式與邊緣運算部門副總裁 Deepu Talla 表示：「生成式人工智慧更通用、易用、且準確的特性將顯著的加速人工智慧邊緣的部署。Jetson 上 Metropolis 和 Isaac 框架有史以來最大規模的軟體擴展，結合 Transformer 模型和生成式人工智慧的強大功能，滿足了這一需求。」
在邊緣開發生成式人工智慧
Jetson Generative AI Lab 為開發人員提供了最佳化的工具和教學，用於部署開源大語言模型（LLM）、擴散模型生成令人驚嘆可互動的圖像、視覺語言模型（VLM）和結合了視覺人工智慧和自然語言處理視覺變換器（ViT）提供對場景的全面理解。
開發人員還可以使用 NVIDIA TAO 工具套件為邊緣應用創建高效、準確的人工智慧模型。 TAO 提供了一個低程式碼介面來微調和最佳化視覺人工智慧模型，包括視覺變換器和視覺基礎模型。現在，開發人員可以自訂和微調像是 NVIDIA NV-DINOv2 等基礎模型或 OpenCLIP 等公開的模型，從而用很少的資料建立高度準確的視覺人工智慧模型。 TAO現在也另外包括了 VisualChangeNet，這是一個基於transformer的瑕疵檢測模型。
利用新的 Metropolis 和 Isaac 框架
NVIDIA Metropolis 讓企業更輕鬆、更具成本效益地採用世界一流的視覺人工智慧驅動的解決方案，以改善關鍵的營運效率和安全問題。這個平台帶來了一系列強大的 API 和微服務，供開發人員快速開發複雜的基於視覺的應用程式。
包括 BMW 集團、百事公司、克羅格公司、泰森食品、Infosys 和西門子在內的 1,000 多家公司都正在使用 NVIDIA Metropolis 開發者工具，透過視覺人工智慧解決物聯網、感測器處理和營運挑戰，而且採用率正在加快。 這些工具目前已被那些希望建立視覺人工智慧應用程式的人下載了超過 100 萬次。
Metropolis API 和微服務為了讓開發人員可以快速建置和部署可擴展的視覺人工智慧應用程式，NVIDIA Jetson 上擴展後的 Metropolis API 和微服務將於年底推出。
數百位客戶使用 NVIDIA Isaac 平台開發跨不同領域的高效能機器人解決方案，包括農業、倉庫自動化、最後一哩運送和服務機器人等。
在 ROSCon 2023 上，NVIDIA 宣布透過新版本的 Isaac ROS 和 Isaac Sim 軟體對感知和模擬功能進行重大改進。 Isaac ROS 基於廣泛採用的開源機器人作業系統（Robot Operating System; ROS）構建，為自動化帶來感知，為移動的事物提供眼睛和耳朵。 透過利用 GPU 加速 GEMs 的強大功能（包括視覺慣性里程計、深度感知、3D 場景重建、定位和規劃），機器人開發人員獲得了快速設計適合各種應用機器人解決方案的工具。
隨著最新版本 Isaac ROS 2.0 全面發布，開發人員現在能夠利用 Jetson 創建高效能機器人解決方案並將其推向市場。
開源機器人基金會（Open Source Robotics Foundation）技術長 Geoff Biggs 表示：「ROS 不斷成長和發展，為整個機器人社群提供開源軟體。隨此版本一起推出的 NVIDIA 全新預構建 ROS 2 軟體套件，將使廣大 NVIDIA Jetson 開發者社群能夠輕鬆使用 ROS 2，從而加速 ROS 的成長。」
提供新的參考 AI 工作流程
開發可立即上線使用的人工智慧解決方案需要最佳化開發和訓練針對特定用例而定制的人工智慧模型、在平台上導入強大的安全功能、編排應用程式、管理車隊、建立流暢的邊緣到雲的通訊等等。
NVIDIA 宣布推出一系列基於 Metropolis 和 Isaac 框架的精選 AI 參考工作流程，使開發人員能夠快速採用整個工作流程，或選擇性地整合這些工作流程中的各個組件，從而大大減少了開發時間和成本。三個不同的 AI 工作流程包括：網路影片錄製（NVR）、自動光學檢測（AOI）和自主移動機器人（AMR）。
Tirias Research 首席分析師 Jim McGregor 表示：「NVIDIA Jetson 擁有廣泛且多樣的使用者基礎和合作夥伴生態系統，已經推動了邊緣機器人和人工智慧的革命。隨著應用需求變得越來越複雜，我們需要從根本上轉向能夠簡化並加速邊緣部署創建的平台。 NVIDIA 的這一重大軟體擴展使開發人員能夠獲得新的多感測器模型和生成式人工智慧功能。」
即將推出更多產品
NVIDIA宣佈推出一系列系統服務，這些服務是每個開發人員在構建邊緣人工智慧解決方案時所需的基礎功能。這些服務將簡化整合Jetson平台與工作流程，並免除了開發人員從頭開始構建時的繁重任務。
預計於年底前推出的 NVIDIA JetPack 6，將使 AI 開發人員不必全面升級 Jetson Linux，就能維持運算領先狀態，大大加快開發時間，並讓他們擺脫 Jetson Linux 依賴性。JetPack 6 還將利用與 Linux 發行合作夥伴的合作，擴大基於 Linux 的發行版選項，包括 Canonical 經最佳化和認證的 Ubuntu、Wind River Linux、Concurrent Real-Time 的 Redhawk Linux 以及各種基於 Yocto 的發行版。
合作夥伴生態系統受惠於平台擴展
Jetson 夥伴生態系提供從硬體、人工智慧軟體和應用程式設計服務到感測器、連接和開發者工具的廣泛支援。NVIDIA 合作夥伴網路中的這些創新者，為市場上銷售的眾多產品提供組件和子系統方面發揮了關鍵作用。
最新版本使 Jetson 合作夥伴能夠加快上市時間，並使他們能夠透過採用更多具有更高效能和功能的人工智慧來擴大客戶群。
獨立軟體供應商合作夥伴也將能夠擴大其針對 Jetson 開發的產品。
歡迎報名與參加我們在太平洋時間 2023 年 11 月 7 日星期二上午 9 點舉行的網路研討會，深入探討本文中討論的許多主題，包括用於在 Jetson 上部署 LLM 和 VLM 的加速 API 和量化方法，與使用 TensorRT 最佳化視覺 transformers 等。