NVIDIA机器人行业2023年方向和成果解析，助力实现AI未来

机器人行业正在经历以生成式 AI 为主导的智能化变革，从而实现前所未有的感知和适应能力。作为智能机器人领域的领跑者，NVIDIA 正不断深耕、持续创新，提供最先进的 AI 解决方案为机器人赋能。

例如在硬件方面，NVIDIA 瞄准嵌入式边缘计算领域推出了 Jetson 平台，在这个系列中，有支持入门级边缘 AI 应用程序和设备的 Jetson Nano，也有适用于机器人开发的 Jetson Orin。

在应用平台方面，NVIDIA 的 Omniverse 可用于开发和部署基于 OpenUSD 的 3D 应用与工作流，其为机器人仿真平台 Isaac Sim 赋能，后者还能进一步减小机器人算法从仿真环境迁移到实际平台的成本。

本文盘点了 NVIDIA 在 2023 年机器人领域的成果以及研究方向，共同感受 NVIDIA 对于机器人前沿领域的新思考及其应用迭代。

▍技术蓝图：NVIDIA 赋能机器人智能化发展

（1）NVIDIA 扩大 Isaac 软件的接入范围，并提高 Jetson 平台的可用性，加快机器人技术从云到边缘的发展

NVIDIA 于 GTC 2023 上宣布，Omniverse Cloud 将托管在 Microsoft Azure 上，以扩大 Isaac 软件的接入范围并提高 Jetson 平台的可用性。Omniverse 是一个连接数字与现实世界的工业数字化平台，通过边缘 AI 和云端计算，将使得制造企业更容易接受 AI 工具，从而有助于帮助企业实现制造过程数字化。例如宝马集团与自动化公司 idealworks 就已经在 Omniverse 中使用 Isaac Sim，生成合成数据并运行相关场景，用于测试和训练 AMR 与工厂机器人。同时全线 Jetson Orin 模组均已推出，为边缘 AI 和机器人应用带来性能上的飞跃。

详细文章链接：《GTC23 | NVIDIA 扩大 Isaac 软件的接入范围并提高 Jetson 平台的可用性，加快机器人技术从云到边缘的发展》

（2）NVIDIA Isaac AMR 助力，移动机器人实现高级自动化

NVIDIA 注意到多个行业在降本增效驱使下，对移动机器人的需求日益增长。为此推出了可用于打造新一代自主移动机器人（AMR）车队的全新平台 NVIDIA Isaac AMR 。建立在 NVIDIA Nova Orin 参考架构的基础上，这是一个主要用于仿真、验证、部署、优化和管理自主移动机器人车队的平台，包含了边缘到云的软件服务、计算以及一套参考传感器和机器人硬件，Isaac AMR 能为移动机器人带来先进的测绘、自主和模拟能力，可加快 AMR 的开发和部署速度，减少成本并缩短产品上市时间。

详细文章链接：《COMPUTEX2023 | NVIDIA Isaac AMR 助力移动机器人实现高级自动化》

（3）基于 NVIDIA Jetson ，使用硬件在环设计机器人

Hardware-in-the-Loop（硬件在环，HIL）测试是一种强大的工具，用于验证和核实包括机器人技术和计算机视觉在内的复杂系统的性能。NVIDIA 结合 HIL 这一主线，展示了如何设置 HIL 和使用 NVIDIA Jetson Isaac ROS 模块进行测试，以及如何尝试 NVIDIA Isaac Sim，从而获得更安全、更可靠、更高效的产品。

详细文章链接：《基于 NVIDIA Jetson 使用硬件在环设计机器人》

（4）NVIDIA 扩展机器人平台，迎接生成式 AI 的崛起

NVIDIA 在 Jetson 平台上对 Metropolis 和 Isaac 框架进行了有史以来规模最大的软件扩展，NVIDIA Isaac ROS 机器人框架全面上市，并结合 Transformer 模型与生成式 AI 的强大功能来满足边缘 AI 的快速部署需求。同时，NVIDIA 还创建了一个 Jetson 生成式 AI 实验室，以供开发者利用最新的开源生成式 AI 模型进行开发。

详细文章链接：《NVIDIA 扩展机器人平台，迎接生成式 AI 的崛起》

（5）训练自主移动机器人使用合成数据，检测仓库托盘千斤顶

在训练那些部署在 AMR 上的感知 AI 模型时， 3D 仿真生成的合成数据（SDG）可以发挥关键作用。NVIDIA 在一项研究中，展示了如何使用 NVIDIA Isaac Sim 中的 NVIDIA Omniverse Replicator 生成合成数据，随后使用 NVIDIA TAO Toolkit 中的合成数据对模型进行训练，最后将模型在真实数据上的性能可视化，并修改参数以生成更好的合成数据，达到期望的性能水平。

详细文章链接：《如何训练自主移动机器人使用合成数据检测仓库托盘千斤顶》

▍NVIDIA 机器人开发工具解析

从零开始创建一个机器人并非极其困难，使用合适的开发工具，能够轻松达到事半功倍的效果。我们发现，NVIDIA 关于机器人创建的必要知识和所涉工具已经形成了一整套闭环，能够帮助用户轻松完成从 0 到 1 的开发串联。

（1）数据合成和训练

在现实世界中，制造机器人需要从头开始创建数据集，涉及到采集和注释海量真实图像等，NVIDIA 开发出了 Isaac Sim Replicator 和 NVIDIA TAO 工具套件，前者用于生成合成数据，后者可对合成数据进行训练，为机器人的仿真打下坚实的基础。

详细文章链接：《从 0 到 1 搭建机器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件进行数据合成和训练》

（2）创建虚拟环境，进行仿真开发与测试

创建虚拟环境，进行机器人的仿真开发与测试往往是机器人开发的第二步。NVIDIA 对应可以使用的工具是 NVIDIA Isaac Sim，这是一款可扩展的机器人仿真应用程序和合成数据生成工具，能驱动逼真的、物理准确的虚拟环境，从而生成数据集，用于训练将在实体机器人上运行的机器学习模型。值得注意的是，即使是用于机器人仿真的虚拟环境，也会遵守物理定律，并力求模拟现实世界的重力、摩擦、材料和照明条件。

详细文章链接：《从 0 到 1 搭建机器人 | 利用 NVIDIA Isaac Sim 创建虚拟环境进行仿真开发与测试》

（3）加速 SDK 打造自主机器人

机器人成为咖啡师的秘密是自主机器学习，NVIDIA 提供了打造自主机器人的方式，通过 NVIDIA Jetson 和一系列硬件加速 SDK，能将 AI 紧密融入基于 NVIDIA Jetson 的自主机器人系统，推动机器人在感知、决策和交互方面迈向更智能化的未来。在软件层面，NVIDIA JetPack 捆绑了所有 Jetson 平台软件，包括 TensorRT、cuDNN、CUDA Toolkit、VPI、GStreamer 和 OpenCV，而且所有这些软件都建立在 Jetson Linux 之上，带有 LTS Linux 内核。

详细文章链接：《从 0 到 1 搭建机器人系列 | 利用 NVIDIA Jetson 和硬件加速 SDK 打造自主机器人》

（4）由一到多，打造机器人车队

“单个”机器人移向“多个”机器人集群如何实现编队控制？NVIDIA 利用 Isaac AMR ，能为机器人的开发提供最先进的 AI 平台和工作流程，便捷、高效地管理机器人编队，以优化生产力。NVIDIA Isaac AMR 是一个可用于打造新一代 AMR 车队的平台，包含了从边缘到云的软件服务、计算以及一套参考传感器和机器人硬件，用于仿真、验证、部署、优化和管理 AMR 车队，在大型、高动态、非结构化的环境中确保先进的测绘、自主和仿真能力。

详细文章链接：《从 0 到 1 搭建机器人系列 | 利用 Isaac AMR 轻松部署机器人车队》

▍脑洞大开：NVIDIA 解锁机器人多样可能

除了传统的机器人应用开发，NVIDIA 的开发者套件以及其开发者计划正吸引着全球各地的开发者参与其中，借助完善的工具搭建各类意想不到的机器人。

（1） AI 驱动维修机器人

来自克罗地亚的 Goran Vuksic 在现实世界中制造出了《星球大战》中的维修机器人（Pit Droid）。他使用 NVIDIA Jetson Orin Nano 开发者套件作为机器人的大脑，让这个身高不到四英尺、眼睛只有一个简单网络摄像头的机器人，能够识别物体并随之转头。Vuksic 还加入了 NVIDIA 开发者计划，并将他的机器人带到欧洲各地的技术会议上，用这个大家熟悉的“星球大战”角色展示边缘 AI 平台的强大力量。

详细文章链接：《开发者使用 NVIDIA Jetson 让 AI 驱动维修机器人》

（2）能瞄准、射门和得分的自主足球机器人

足球被认为是全世界最受欢迎的运动之一，因此，自然会有人致力于向机器人“传授”足球比赛的精髓，包括如何抢球、瞄准球门、传球和进球得分等。来自巴西累西腓伯南布哥联邦大学的学生及其指导老师，共同制造了一个由 NVIDIA Jetson Nano 开发者套件驱动的全向移动机器人，该机器人可以自主执行足球任务。

详细文章链接：《NVIDIA Jetson 月度项目：能瞄准、射门和得分的自主足球机器人》

（3）前往火星的“变形金刚”

美国加州理工学院发布了搭载 NVIDIA Jetson 平台的 M4 Morphobot。它不但能够飞行、行驶和行走，还能通过组合技能完成八套排列组合的动作，这款机器人被称为“多模式移动变形机器人”（Multi-Modal Mobility Morphobot）。美国国家航空航天局（NASA）正在将其作为火星漫游车候选项目进行开发。

详细文章链接：《前往火星的“变形金刚”：加州理工学院开发的全地形机器人有望执行 NASA 任务》

▍小结

如今，机器人正与大模型结合，快速走向基础智能体。在生产力提升的迫切要求下，生成式 AI 加速机器人仿真，驱动 AI 应用赋能千行百业，包括农业、建筑业、医疗健康、零售业、物流仓储和制造等领域，开始转向由 AI 驱动的智能机器人。而想要实现掌握广泛技能并能够泛化到多个环境中的生成式 AI 赋能的机器人，核心要素离不开数据、算法和算力。

基于已有优势，NVIDIA 目前在机器人领域同样正处于领跑地位。在这个过程中，快速增长并展现出巨大潜力的机器人业务也正逐渐走向 NVIDIA 的舞台中心，NVIDIA 在软件和硬件方面对此长期布局，努力为机器人厂商、爱好者及研究者提供下一代的强有力工具。