NVIDIA 将生成式 AI 工具、仿真和感知工作流引入 ROS 开发者生态系统

NVIDIA 在 ROSCon 上发布更新，旨在加速 AI 驱动的机械臂和自主移动机器人的开发。

在丹麦最古老的城市之一、自动化中心欧登塞举行的 ROSCon 上，NVIDIA 及其机器人生态合作伙伴发布了适用于机器人操作系统（ROS）开发者的生成式 AI 工具、仿真和感知工作流。

其中包括供 ROS 开发者部署到 NVIDIA Jetson 边缘 AI 和机器人平台的全新生成式 AI 节点和工作流。借助生成式 AI，机器人能够感知并理解周围环境、与人类自然交流，并自主做出适应性决策。

生成式 AI 进入 ROS 社区

基于 ROS 2 构建的 ReMEmbR 使用生成式 AI 来增强机器人的推理和行动能力。它将大语言模型（LLM）、视觉语言模型（VLM）和检索增强生成相结合，使机器人能够建立并查询长期语义记忆，并提高其导航和与环境交互的能力。

语音识别功能由 WhisperTRT ROS 2 节点提供支持。该节点使用 NVIDIA TensorRT 对 OpenAI 的 Whisper 模型进行优化，在 NVIDIA Jetson 上实现了低延迟推理，从而实现反应灵敏的人机交互。

具有语音控制功能的 ROS 2 机器人项目使用 NVIDIA Riva ASR-TTS 服务，使机器人能够理解和响应语音命令。NASA 喷气推进实验室单独演示了一个适用于 ROS 的 AI 智能体 ROSA，可在其 Nebula-SPOT 机器人和 NVIDIA Isaac Sim 中的 NVIDIA Nova Carter 机器人上运行。

Canonical 在 ROSCon 上展示了 NanoOWL。通过这个在 NVIDIA Jetson Orin Nano 系统模块上运行的零样本物体检测模型，机器人无需依赖预定义类别，就能实时识别各种物体。

开发者现在就可以开始使用 ROS 2 生成式 AI 节点，它带来了经 NVIDIA Jetson 优化的 LLM 和 VLM，以增强机器人的能力。

通过“以仿真为中心”的方法

改进 ROS 工作流

在部署 AI 机器人之前，仿真对于安全测试和验证 AI 机器人至关重要。NVIDIA Isaac Sim 是一个基于 OpenUSD 构建的机器人仿真平台，它为 ROS 开发者提供了一个虚拟环境，使开发者可以轻松地将机器人连接到他们的 ROS 软件包来测试机器人。关于使用 Isaac Sim 的 ROS 2 工作流的新版入门指南现已发布，该指南详细讲解了现已可用的机器人仿真和测试的端到端工作流。

作为 NVIDIA 初创加速计划的会员，Foxglove 展示了一个集成，可以帮助开发者使用基于 Isaac Sim 构建的 Foxglove 自定义扩展程序，实现仿真数据的实时可视化和调试。

Isaac ROS 3.2 的新功能

NVIDIA Isaac ROS 基于开源 ROS 2 软件框架构建而成，是一套用于机器人开发的加速计算软件包和 AI 模型。即将发布的 3.2 版本增强了机器人的感知、操作和环境映射能力。

NVIDIA Isaac Manipulator 的主要改进包括集成了 FoundationPose 和 cuMotion 的新参考工作流，可加速机器人拾放和对象追踪管线的开发。

NVIDIA Isaac Perceptor 也经过了改进，加入了全新的视觉 SLAM 参考工作流、增强型多摄像头检测和 3D 重建功能，可提高自主移动机器人（AMR）在仓库等动态环境中的环境感知能力与性能。

使用 NVIDIA Issac 的合作伙伴

机器人公司正在将 NVIDIA Isaac 加速库和 AI 模型集成到他们的平台中。

• 优傲机器人（泰瑞达的子公司）推出了一个新的 AI 加速器工具包，以开发 AI 驱动的协作机器人应用。
• Miso Robotics 正在使用 Isaac ROS 加快其 AI 机器人薯条制作机 Flippy Fry Station 的速度，并提高餐饮服务自动化的效率与准确性。
• Wheel.me 正在与 RGo Robotics 和 NVIDIA 合作，使用 Isaac Perceptor 创建一个生产就绪型自主移动机器人（AMR）。
• Main Street Autonomy 正在使用 Isaac Perceptor 来简化传感器校准。
• 奥比中光发布了其 Perceptor 开发者套件，这是一个适用于 Isaac Perceptor 的开箱即用型 AMR 解决方案。
• 立普思推出了一款用于改进 AMR 导航能力的多摄像头感知开发套件。
• Canonical 强调了经过全面认证的 Ubuntu ROS 开发者环境，为 ROS 开发者提供了开箱即用的长期支持。

在 ROSCon 上与合作伙伴交流

ROS 社区成员与合作伙伴（包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、西门子和泰瑞达）在丹麦举办多场研讨会、讲座、展台演示和会议。重点活动包括：

• BoF 会议“Nav2 用户见面会”，主持人：Steve Macenski，Open Navigation LLC
• ROS 在大规模工厂自动化中的应用，主持人：Michael Gentner，宝马公司；Carsten Braunroth，西门子公司
• BoF 会议“在机器人操纵工作流中集成 AI”，主持人：Kalyan Vadrevu，NVIDIA
• BoF 会议“在仿真中加速大规模机器人学习”，主持人：Markus Wuensch，NVIDIA
• Nav2 Docking 的使用，主持人：Steve Macenski，Open Navigation LLC

ROSCon 由开源机器人基金会（OSRF）组织举办。NVIDIA 是 OSRF 旗下组织 Open Robotics 及其所有倡议的支持者。

如需了解最新信息，请访问 ROSCon 页面：

https://www.nvidia.cn/events/roscon/