机器人界PyTorch来了！Hugging Face 联合牛津团队发布LeRobot库

近日，Hugging Face 联合英国牛津大学团队发布了 LeRobot，这是一个旨在与整个机器人技术栈实现端到端集成的开源库，业内将其称为是「机器人界的 PyTorch」。LeRobot 支持机器人从大规模多模态数据比如文本、视频和传感器中学习，适配于多种硬件，助力于推动机器人技术从方程控制面向数据驱动泛化转变。

LeRobot 支持多种公开可用的机器人平台，能被用于机器人操控、运动和全身控制。它还实现了统一的底层读写机器人配置的方法，以便能以相对较低的成本拓展对于其他机器人平台的支持。

LeRobot 还引入了 LeRobotDataset，后者是一种原生的机器人数据集格式，目前已被 AI 社区用于记录数据和共享数据。LeRobotDataset 是 LeRobot 最重要的功能之一，之所以开发这一功能是因为机器人数据在机器人学习中变得日益重要。

因此，LeRobot 希望能够定义一种标准化的数据集格式，从而满足机器人学习的特定需求，以便为跨模态的机器人数据提供既统一又便捷的访问。LeRobotDataset 还可被用于存储所有关于所收集到的数据的通信信息，包括供操作员执行任务的文本描述、所使用机器人的类型以及相关的测量细节，比如记录图像和机器人状态流时的每秒帧数。

通过此，LeRobotDataset 能为处理多模态数据和时间序列数据提供一个统一的接口，并能与 PyTorch 以及 Hugging Face 生态系统实现无缝集成。同时，LeRobotDataset 还可以由用户进行自行扩展和高度定制，也支持来自于 LeRobot 之中的各种机器人平台的公开可用数据，范围涵盖 SO-100 机械臂以及 ALOHA-2 操作器等业内已有的开源硬件，也涵盖现实世界中的其他人形机器人手臂，以及涵盖完全基于模拟的数据集和自动驾驶汽车。这种数据集格式的好处在于，既可以实现机器人的高效训练，又能灵活适应机器人遇到的各种数据类型。

LeRobot 还支持那些机器人在学习中所使用的算法，并在 PyTorch 中提供了高效的实现，也扩展了对于实验开展和实验跟踪的支持。同时，LeRobot 为机器人策略定义了一个定制化的推理栈，能够将动作规划与动作执行解耦。

LeRobot 的相关论文指出，当前机器人学习正处于一个转折点，而这主要得益于机器学习的快速进步以及大规模机器人数据的日益普及。LeRobo 勾勒出了一条从强化学习和行为克隆的基础原理、再到能够跨不同任务乃至跨机器人平台操作的通用性语言条件模型的发展路线。

LeRobot 也描绘了机器人技术的范式转变。原先的机器人主要采用结构化的、基于模型的方法，而当前的机器人开始转向动态数据驱动的方法。这条进展轨迹的起点始于强化学习。虽然强化学习提供了一个能够通过交互进行学习的强大范式，但是强化学习在机器人技术中的应用存在样本效率低、现实世界训练存在安全问题以及奖励设计复杂性等不足。正因此，类似于人工干预的强化学习（HIL-SERL，Human-in-the-Loop Reinforcement Learning）这样的前沿方法通过融入训练时的人类指导、先前收集的数据集以及学习得到的奖励分类器，来让现实世界的强化学习变得更加可行。

然而，强化学习所面临的固有困难也推动了基于模仿学习的方法的发展，基于模仿学习的方法能以较为安全的方式从数量有限的、无奖励的现实世界专家演示中学习。随着模仿学习方法得到更加广泛的采用，这也催生了单任务策略的发展。这些进步为当前机器人的发展奠定了基础，即能够针对各种不同的现实世界任务，让少样本和零样本的通用型语言条件化的视觉-语言-动作模型发挥作用。

据了解，通过利用预训练主干网络和流匹配等生成方法，让美国初创公司 Physical Intelligence 的π0 模型和 SmolVLA 等模型实现了跨不同任务、甚至跨机器人平台泛化的飞跃。LeRobot 的相关论文指出，当前机器人领域出现了大规模公开可用的数据集，也出现了标准化的稳定易用的模型架构，这与 LeRobot 这样的开源平台的出现密不可分。

论文还指出，LeRobot 这种面向开源机器人技术的汇聚不仅仅是一种趋势，更是机器人领域实现更好发展的根本性推动力。总之，LeRobot 旨在打破机器人研发的高墙，让机器人研发者减少重复造轮子，让开发者只用几行代码即可调用 SOTA 模型，让普通爱好者也能训练并部署自己的机器人策略，或许它将助力于时间让机器人从专有走向通用、从昂贵走向普及的愿景。

参考资料：

https://arxiv.org/pdf/2510.12403

运营/排版：何晨龙