网易首页 > 网易号 > 正文 申请入驻

机器人界PyTorch来了!Hugging Face 联合牛津团队发布LeRobot库

0
分享至

近日,Hugging Face 联合英国牛津大学团队发布了 LeRobot,这是一个旨在与整个机器人技术栈实现端到端集成的开源库,业内将其称为是「机器人界的 PyTorch」。LeRobot 支持机器人从大规模多模态数据比如文本、视频和传感器中学习,适配于多种硬件,助力于推动机器人技术从方程控制面向数据驱动泛化转变。

LeRobot 支持多种公开可用的机器人平台,能被用于机器人操控、运动和全身控制。它还实现了统一的底层读写机器人配置的方法,以便能以相对较低的成本拓展对于其他机器人平台的支持。

LeRobot 还引入了 LeRobotDataset,后者是一种原生的机器人数据集格式,目前已被 AI 社区用于记录数据和共享数据。LeRobotDataset 是 LeRobot 最重要的功能之一,之所以开发这一功能是因为机器人数据在机器人学习中变得日益重要。

因此,LeRobot 希望能够定义一种标准化的数据集格式,从而满足机器人学习的特定需求,以便为跨模态的机器人数据提供既统一又便捷的访问。LeRobotDataset 还可被用于存储所有关于所收集到的数据的通信信息,包括供操作员执行任务的文本描述、所使用机器人的类型以及相关的测量细节,比如记录图像和机器人状态流时的每秒帧数。

通过此,LeRobotDataset 能为处理多模态数据和时间序列数据提供一个统一的接口,并能与 PyTorch 以及 Hugging Face 生态系统实现无缝集成。同时,LeRobotDataset 还可以由用户进行自行扩展和高度定制,也支持来自于 LeRobot 之中的各种机器人平台的公开可用数据,范围涵盖 SO-100 机械臂以及 ALOHA-2 操作器等业内已有的开源硬件,也涵盖现实世界中的其他人形机器人手臂,以及涵盖完全基于模拟的数据集和自动驾驶汽车。这种数据集格式的好处在于,既可以实现机器人的高效训练,又能灵活适应机器人遇到的各种数据类型。

LeRobot 还支持那些机器人在学习中所使用的算法,并在 PyTorch 中提供了高效的实现,也扩展了对于实验开展和实验跟踪的支持。同时,LeRobot 为机器人策略定义了一个定制化的推理栈,能够将动作规划与动作执行解耦。

LeRobot 的相关论文指出,当前机器人学习正处于一个转折点,而这主要得益于机器学习的快速进步以及大规模机器人数据的日益普及。LeRobo 勾勒出了一条从强化学习和行为克隆的基础原理、再到能够跨不同任务乃至跨机器人平台操作的通用性语言条件模型的发展路线。

LeRobot 也描绘了机器人技术的范式转变。原先的机器人主要采用结构化的、基于模型的方法,而当前的机器人开始转向动态数据驱动的方法。这条进展轨迹的起点始于强化学习。虽然强化学习提供了一个能够通过交互进行学习的强大范式,但是强化学习在机器人技术中的应用存在样本效率低、现实世界训练存在安全问题以及奖励设计复杂性等不足。正因此,类似于人工干预的强化学习(HIL-SERL,Human-in-the-Loop Reinforcement Learning)这样的前沿方法通过融入训练时的人类指导、先前收集的数据集以及学习得到的奖励分类器,来让现实世界的强化学习变得更加可行。

然而,强化学习所面临的固有困难也推动了基于模仿学习的方法的发展,基于模仿学习的方法能以较为安全的方式从数量有限的、无奖励的现实世界专家演示中学习。随着模仿学习方法得到更加广泛的采用,这也催生了单任务策略的发展。这些进步为当前机器人的发展奠定了基础,即能够针对各种不同的现实世界任务,让少样本和零样本的通用型语言条件化的视觉-语言-动作模型发挥作用。

据了解,通过利用预训练主干网络和流匹配等生成方法,让美国初创公司 Physical Intelligence 的π0 模型和 SmolVLA 等模型实现了跨不同任务、甚至跨机器人平台泛化的飞跃。LeRobot 的相关论文指出,当前机器人领域出现了大规模公开可用的数据集,也出现了标准化的稳定易用的模型架构,这与 LeRobot 这样的开源平台的出现密不可分。

论文还指出,LeRobot 这种面向开源机器人技术的汇聚不仅仅是一种趋势,更是机器人领域实现更好发展的根本性推动力。总之,LeRobot 旨在打破机器人研发的高墙,让机器人研发者减少重复造轮子,让开发者只用几行代码即可调用 SOTA 模型,让普通爱好者也能训练并部署自己的机器人策略,或许它将助力于时间让机器人从专有走向通用、从昂贵走向普及的愿景。

参考资料:

https://arxiv.org/pdf/2510.12403

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
尼泊尔独立电力生产商协会:12个水电项目遭破坏 一水电站约40人被困地下厂房,有生还希望

尼泊尔独立电力生产商协会:12个水电项目遭破坏 一水电站约40人被困地下厂房,有生还希望

红星新闻
2026-09-01 17:45:18
24岁中山大学博士确诊胃癌晚期,已化疗25次,每14天需往返一次广州和昆明,街坊受触动捐3万元,老师和同学发声:安心养病,别怕麻烦我们

24岁中山大学博士确诊胃癌晚期,已化疗25次,每14天需往返一次广州和昆明,街坊受触动捐3万元,老师和同学发声:安心养病,别怕麻烦我们

极目新闻
2026-09-01 19:59:16
百花奖后台,一张明星群像抓拍照,暴露内娱的抱团取暖、人情世故

百花奖后台,一张明星群像抓拍照,暴露内娱的抱团取暖、人情世故

胡一舸南游y
2026-08-11 16:10:03
刚刚!黄湘岳任深圳市教育局局长

刚刚!黄湘岳任深圳市教育局局长

教育大事
2026-09-01 16:45:09
幸运!布云朝克特以幸运落败者身份递补美网正赛 生涯第2次

幸运!布云朝克特以幸运落败者身份递补美网正赛 生涯第2次

醉卧浮生
2026-09-02 00:52:10
“真刀真枪”,又打起来了

“真刀真枪”,又打起来了

中国新闻周刊
2026-08-31 18:14:15
利物浦最后时刻求租切尔西后卫,因一条件谈崩

利物浦最后时刻求租切尔西后卫,因一条件谈崩

慢享生活集
2026-09-02 00:22:25
当机器人仅要2万元,生理需求被满足后,谁还愿意将就着过日子?

当机器人仅要2万元,生理需求被满足后,谁还愿意将就着过日子?

心灵得以滋养
2026-07-19 07:29:40
英国公开赛:中国5胜5负!罗伯逊、斯佳辉爆冷输球,3位世界冠军出局

英国公开赛:中国5胜5负!罗伯逊、斯佳辉爆冷输球,3位世界冠军出局

球场没跑道
2026-09-01 08:18:35
伊朗总统的三大要求,只有中国才能帮他实现,这是伊朗的终极目标

伊朗总统的三大要求,只有中国才能帮他实现,这是伊朗的终极目标

妙知
2026-09-02 00:07:02
再起航!广东宏远官宣15人注册,徐昕回归受阻,三人离队已成事实

再起航!广东宏远官宣15人注册,徐昕回归受阻,三人离队已成事实

生活新鲜市
2026-09-02 00:06:44
耶鲁全奖生撞路边花坛身亡,父母告市政府近十年获赔千万美元,其母否认所谓“释怀”

耶鲁全奖生撞路边花坛身亡,父母告市政府近十年获赔千万美元,其母否认所谓“释怀”

红星新闻
2026-08-31 17:29:18
杨瀚森翻译:开拓者队已经通知我,后续不会雇我随队,杨瀚森表态

杨瀚森翻译:开拓者队已经通知我,后续不会雇我随队,杨瀚森表态

他是她的岛熊
2026-05-29 14:53:58
演员王鸥承认单身生子:我目前独自养育一个孩子,孩子尚且年幼,希望大家不要过度聚焦私人生活,留给小朋友一片可以自在成长的安静空间

演员王鸥承认单身生子:我目前独自养育一个孩子,孩子尚且年幼,希望大家不要过度聚焦私人生活,留给小朋友一片可以自在成长的安静空间

扬子晚报
2026-08-31 17:16:22
罕见!53岁确诊胃梅毒

罕见!53岁确诊胃梅毒

医学界
2026-08-31 18:51:47
易建联为妻儿建的洛杉矶豪宅烧成灰,如今2000平空地估价曝光,数字让人意外,中介爆出实情

易建联为妻儿建的洛杉矶豪宅烧成灰,如今2000平空地估价曝光,数字让人意外,中介爆出实情

黎兜兜
2026-08-31 17:33:14
9月1日充电新规落地:家充不涨价,公共桩变天,电车还能买吗?

9月1日充电新规落地:家充不涨价,公共桩变天,电车还能买吗?

阿振观点
2026-08-31 07:37:48
不会再降息了

不会再降息了

表舅是养基大户
2026-08-31 23:20:44
联手式穿搭,和闺蜜一起,给黑白蕾丝当个衣架子

联手式穿搭,和闺蜜一起,给黑白蕾丝当个衣架子

飛尚日记
2026-08-30 08:35:40
熊黛林一家四口海洋馆出游,8岁双胞胎长高变美,姐姐掉牙依然超可爱

熊黛林一家四口海洋馆出游,8岁双胞胎长高变美,姐姐掉牙依然超可爱

草莓信箱
2026-08-30 23:10:04
2026-09-02 01:27:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17173文章数 515198关注度
往期回顾 全部

科技要闻

抖音突发推荐算法大面积错乱!

头条要闻

女子遭家暴提离婚诉讼被驳回 13天后她被丈夫扔下悬崖

头条要闻

女子遭家暴提离婚诉讼被驳回 13天后她被丈夫扔下悬崖

体育要闻

大爹杨瀚森,让中国男篮有了容错空间

娱乐要闻

孙宇晨破防,他无法接受孙割这个名字

财经要闻

库克卸任,苹果下一个增长点在哪?

汽车要闻

山城试驾启源Q06 不光是智驾好用还有700km的续航

态度原创

艺术
亲子
本地
公开课
军事航空

艺术要闻

他笔下的女人,像从宋词里走出来的诗魂:80后油画家赵也,用画笔把东方美定格成永恒

亲子要闻

女子吐槽老公丑的千万别生女儿,女儿像爸是真的,评论区笑不活了

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普:不会对伊朗用核武器

无障碍浏览 进入关怀版