在歐登塞（Odense） — 丹麥最古老的城市之一、也是自動化據點 — 舉行的 ROSCon 大會上，NVIDIA 與其機器人生態系合作夥伴宣布發表生成式人工智慧（AI）工具、模擬和感知 AI 工作流程，以促進機器人操作系統（Robot Operating System，ROS）開發者社群的發展。
發布的內容包括 NVIDIA Isaac ROS 和 NVIDIA Isaac Sim 技術與開發者指南，其中包含新的生成式 AI 節點和工作流程，供 ROS 開發人員部署到 NVIDIA Jetson 平台以實現邊緣 AI 和機器人技術。Isaac Sim 中基於物理的模擬技術可幫助 ROS 開發者在部署之前模擬和驗證 AI 模型。生成式 AI 使機器人能夠感知和理解周圍環境的情境，自然地與人類交流，並自主做出適應性決策。
生成式 AI 進入 ROS 社群
基於 ROS 2 架構的 ReMEmbR 利用生成式 AI 增強了機器人的推理與行動能力。它結合了大型語言模型（LLM）、視覺語言模型（VLM）以及檢索增強生成技術，使機器人能夠構建和查詢長期語義記憶，提升其在環境中的導航和互動能力。
語音識別功能由 WhisperTRT ROS 2 節點驅動。該節點使用 NVIDIA TensorRT 最佳化 OpenAI 的 Whisper 模型，實現 Jetson 上的低延遲推論，從而實現回應靈敏的人機互動。
具有語音控制功能的 ROS 2 機器人專案使用 NVIDIA Riva ASR-TTS 服務，使機器人能夠理解並回應語音指令。美國太空總署（NASA）噴射推進實驗室（Jet Propulsion Laboratory，JPL）獨立展示了 ROSA，這是一種用於 ROS 的 AI 驅動代理，在 Isaac Sim 的 Nebula-SPOT 機器人上運作。
在 ROSCon 上，Canonical 展示了 NanoOWL，這是在 Jetson Orin Nano 模組系統上運行的零樣本目標偵測模型。它使機器人能夠在不依賴預先定義分類的情況下，即時識別各種物體。
開發人員現在就可以開始使用 ROS 2 Nodes for Generative AI，它帶來了由 NVIDIA Jetson 最佳化的大型語言模型與視覺語言模型，以增強機器人的能力。
以「模擬優先」方法增強 ROS 工作流程
模擬對於在部署前安全測試和驗證 AI 驅動的機器人至關重要。Isaac Sim 是一款基於 OpenUSD 和 RTX 的機器人模擬參考應用，為 ROS 開發者提供了一個虛擬環境，可以透過輕鬆連接到他們的 ROS 套件來測試機器人。全新的《使用 Isaac Sim 的 ROS 2 工作流程初學者指南》現已推出，該指南說明了機器人模擬和測試的端到端工作流程。
Foxglove 作為 NVIDIA Inception 新創計畫的成員，展示了一項整合功能，可幫助開發人員透過使用基於 Isaac Sim 構建的 Foxglove 客製化擴展，即時檢視模擬數據並進行除錯。
Isaac ROS 3.2 的新功能
Isaac ROS 建立在開源 ROS 2 軟體架構上，是一套用於機器人開發的加速運算套件和 AI 模型。即將發布的 3.2 版本增強了機器人感知、操作和環境映射能力。
Isaac Manipulator 的主要升級包括整合 FoundationPose 和 cuMotion 的全新參考工作流程，以加速機器人技術中拾取與放置和物件追蹤管道的開發。
另一個升級則是 Isaac Perceptor，它具有新的視覺 SLAM 參考工作流程、增強的多攝影機偵測和 3D 重建功能，以提高自主移動機器人（AMR）在倉庫等動態環境中的環境感知能力和效能。
採用 NVIDIA Isaac 的合作夥伴
機器人公司正在將 Isaac ROS 加速函式庫和 AI 模型整合到他們的平台中。
- Teradyne Robotics 旗下公司 Universal Robots 推出了新的 AI 加速器工具套件，以支援 AI 驅動的協作機器人（cobot）應用的開發。
- Miso Robotics 正在使用 Isaac ROS 來加速其 AI 驅動的薯條製作機器人 Flippy Fry Station，並推動食品服務自動化的效率和準確性提升。
- me 正在與 RGo Robotics 和 NVIDIA 合作，使用 Isaac Perceptor 建立生產就緒的 AMR。
- Main Street Autonomy 正在使用 Isaac Perceptor 來簡化感測器校準。
- Orbbec 發布了 Perceptor Developer Kit，為適用於 Isaac Perceptor 的開箱即用 AMR 解決方案。
- LIPS Corporation 推出了多攝影機感知開發套件，以改善 AMR 導航。
- Canonical 強調為 ROS 開發人員提供經過全面認證的 Ubuntu 環境，提供開箱即擁有的長期支援。
在 ROSCon 與合作夥伴交流
ROS 社群成員和合作夥伴，包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、Siemens 和 Teradyne Robotics，將在丹麥舉辦工作坊、講座、攤位展示和會議。活動亮點包括：
- 來自 Open Navigation LLC 的 Steve Macenski 主持的「Nav2 User Meetup」討論聚會
- 由 BMW AG 的 Michael Gentner 和 Siemens AG 的 Carsten Braunroth 主持的「ROS in Large-Scale Factory Automation」
- NVIDIA 的「Integrating AI in Robot Manipulation Workflows」討論聚會
- NVIDIA 的「Accelerating Robot Learning at Scale in Simulation」討論聚會
- Open Navigation 的 Macenski 的「On Use of Nav2 Docking」
此外，Teradyne Robotics 和 NVIDIA 將於 10 月 22 日（星期二）在丹麥歐登塞共同舉辦午餐會和晚間接待會。
ROSCon 由開源機器人基金會（Open Source Robotics Foundation，OSRF）主辦。NVIDIA 是開源機器人（Open Robotics）的白金級支持者，該組織是 OSRF 及其所有計畫的聯合組織。
欲了解 ROSCon 的最新消息，請至 ROSCon 網頁。