所有移動的事物都將變成自主模式,所有自主的事物都需要先進的即時感知功能。
NVIDIA (輝達) 宣布其最新計畫,旨在為 ROS 開發者社群提供一套感知技術。這項計畫對於想把先進的電腦視覺及人工智慧 (AI)/ 機器學習 (ML) 功能加入其基於 ROS 架構的機器人應用程式的開發者來說,將能縮短他們的開發時間,並提升執行效能。
Open Robotics 為 NVIDIA AI 擴大 ROS
NVIDIA 與 Open Robotics 已達成協議,將加速 NVIDIA Jetson 邊緣 AI 平台和基於 GPU 架構系統上的 ROS 2 效能,藉以在 Open Robotics 的 Ignition Gazebo 與以 Omniverse 平台為基礎的 NVIDIA Isaac Sim 間,能夠流暢地將模擬內容互通有無。
Jetson 平台受到各領域的機器人專家採用,其設計旨在為機器人提供高效能、低延遲的作業處理,使其具備靈敏的反應力、安全性及協作能力。Open Robotics 將強化 ROS 2,以便在 Jetson 平台上的 GPU 和其他處理器間,高效率地管理資料流程和共用記憶體。此舉將能顯著提升必須即時處理來自攝影機、光達等感測器高頻寬資料的應用程式的效能。
除了強化在 Jetson 平台上部署機器人應用程式的功能外,Open Robotics 與 NVIDIA 正在著手整合 Ignition Gazebo 與 NVIDIA Isaac Sim 的計畫。Isaac Sim 早以開箱即用的方式支援 ROS 1 和 2,並與 Blender 和 Unreal Engine 4 等熱門應用程式相互串連,創造出極為重要的 3D 內容生態系。
整個機器人社群大規模使用 Ignition Gazebo 已有數十個年頭,包括正在進行的 DARPA Subterranean Challenge 等備受矚目的競賽。ROS 開發者連接兩個模擬器,便能輕鬆地在 Ignition Gazebo 和 Isaac Sim 間移動機器人和環境,並進行大規模的模擬活動。他們還能利用每個模擬器的先進功能,如極為逼真的動力學、精確的感測器模型和栩栩如生的渲染結果,生成用於訓練和測試 AI 模型的合成資料。
Open Robotics 執行長 Brian Gerkey 表示:「隨著越來越多的 ROS 開發者使用有著額外運算功能的硬體平台卸載主機 CPU,ROS 正持續發展並讓人們以更輕鬆且高效率的方式,採用這些先進的硬體資源。與 NVIDIA 這樣的加速運算領導者合作,透過其在 AI 和機器人創新領域的豐富經驗,將為整個 ROS 社群帶來莫大好處。」
這項合作所生成的軟體內容預計將於 2022 年春季推出。
專為 ROS 發布的 Isaac GEM 大幅提升作業速度
用於 ROS 的 Isaac GEM 是硬體加速套件,協助 ROS 開發者更輕鬆地在 Jetson 平台上打造高效能的解決方案。這些 GEM 著重在提升影像處理輸出量及基於 DNN 架構的感知模型處理能力,這些模型對機器人專家來說越來越重要。這些軟體套件減少了主機 CPU 的作業負載,同時大幅提高效能。
用於 ROS 的全新 Isaac GEM 包含:
全新 Isaac Sim 功能支援 ROS 開發者
在最新版本的 Isaac Sim 中加入針對 ROS 開發者社群的重點支援。部分最令人注目的例子便是 ROS2 導航堆疊和 MoveIt Motion 規劃框架。現已開放下載,可以在 Isaac Sim 文件中找到。
Isaac Sim 中的 ROS 範例清單
-
- ROS AprilTag
- ROS 立體攝影機
- ROS 導航
- ROS TurtleBot3 範例
- ROS 操作與攝影機範例
- ROS 服務
- MoveIt Motion 規劃框架
- 使用原生 Python ROS
- ROS2 導航
Isaac Sim 生成用於訓練感知的合成資料集
擁有強大能力的 Isaac Sim 除了能作為機器人模擬器,還能生成合成資料來訓練和測試感知模型。隨著機器人專家在他們的平台上加入越來越多的感知功能,這些能力將變得更加重要。顯然當機器人對於環境的感知能力越強大時,其自主能力就越好,如此一來便能減少人工的介入。
當 Isaac Sim 生成合成資料集後,便能直接投入 NVIDIA TAO AI 模型適應平台,讓感知模型去適應機器人的特定工作環境。在從目標環境中收集任何真實資料前,此舉便能確保機器人的感知堆疊在特定工作環境順利開始運作。
機器人專家長期以來對於如何將導航等經典的機器人任務,與 AI 感知堆疊進行串連和整合而感到苦惱。Isaac Sim 可以同時作為機器人和合成資料生成工具,加上精簡的 TAO 訓練平台整合內容,解決了這項困難的工作流程。
更多資訊在 ROS World 與 GTC 2021
NVIDIA 正在為 10 月 21 日至 22 日舉行的 ROS World 大會做準備。我們計劃為 Jetson 開發人員發布更多全新的 GEM,其中包括多個熱門的 DNN。我們亦將宣布多項 Isaac Sim 的功能,以支援 ROS 開發者社群。歡迎參觀我們的線上展位、參加 NVIDIA ROS 圓桌會議以及觀看 Isaac Sim 相關技術簡報等精彩內容。
NVIDIA 將於 11 月 8 日至 11 日舉行的 GTC 大會,邀請多位重量級演講嘉賓發表精彩的演講內容。我們也為機器人開發人員準備豐富的議程,其中包括 Open Robotics 共同創辦人暨執行長 Brian Gerkey 的演講。多場演講內容亦涵蓋 NVIDIA Jetson、Isaac ROS、Isaac Sim 與 Isaac GYM 等主題。
即刻開始
想要立即在產品中加入 NVIDIA AI 感知技術的開發者,可以多加利用以下連結: