网易首页 > 网易号 > 正文 申请入驻

傅利叶开源全尺寸人形机器人数据集Fourier ActionNet发布工具链

0
分享至

3月17日,上海 —— 傅利叶正式开源全尺寸人形机器人数据集Fourier ActionNet,并发布全球首个全流程工具链。

Fourier ActionNet数据集首批上线超3万条高质量真机训练数据,包含多种自由度灵巧手的训练数据及专门针对手部任务的模仿学习数据,面向全球开发者及科研机构开源共享,提供从数据采集、训练、部署的一站式解决方案。

高质量数据,涵盖多种精细化操作任务

当前,人形机器人数据集面临数据稀缺性、标注成本高且精度不足以及仿真与现实存在“数据鸿沟”等问题。从数据规模来看,真实场景多模态数据采集成本高导致规模受限,尤其是人形机器人场景数据存在明显不足的情况,这也是目前人形机器人难以从实验室走向规模化落地的主要问题之一。

本次傅利叶发布的Fourier ActionNet数据集囊括傅利叶GRx系列所有机型的各类任务训练,拥有超过30000条遥操轨迹,包含人形灵巧手操作任务,涵盖了对常用工具、家居用品、食物等多种物体的精确取放、倾倒等操作,以及在不同环境条件下实现泛化执行。

据悉,傅利叶团队采用OAK-D W 97相机收集视觉数据,提供宽广的视野范围。远程操作系统通过Apple Vision Pro作为主要控制设备,实现基于VR的操作,从而保证以人形机器人的第一人称视角进行数据采集。在该系统中,机器人操作员使用来自人形机器人视角的实时视觉反馈来操纵机器人,操作员的动作(包括手部动作)会直接传输给人形机器人,确保所执行的技能与真实人类执行的技能相接近。

VR远程操作数据库地址:

https://github.com/FFTAI/teleoperation

1.多模态+高质量+万级体量:数据来源包含傅利叶GRx人形机器人全机型数据,涵盖多种自由度的自研灵巧手,且包含专门针对手部任务的模仿学习数据,拥有万级数据体量,能够在现实场景中实现强大的学习和适应性。

2.VLM标注+人工核验:Fourier ActionNet数据集采用视觉语言模型(Qwen2.5-VL-7B)来自动为数据添加标注。该模型从录制的视频中抽取26帧关键画面,并针对每个视频流生成相应的标注,随后对这些标注进行人工审查和验证,覆盖全部30000个数据样本。该数据集可用于模仿学习、视觉语言对齐(VLA)以及世界模型训练等多种任务。

全球首个全流程工具链,降低研发门槛

除了数据集的开源以外,傅利叶同步开放了全球首个包含采集算法、训练算法以及数据部署算法的全流程工具链,最大程度上与全球开发者共享研究成果。开源的训练框架(如DP、ACT、iDP3)和部署工具,进一步降低了人形机器人技术研发门槛。

1.自带数据质量评估:为进一步验证数据集的质量,确保数据精度与准确性。傅利叶团队基于扩散策略(DP)、Transformer动作分块策略(ACT)及改进3D扩散策略(iDP3)三种主流模型对数据集性能进行系统性验证。结果表明,GRx全系列机型均表现出色,可稳定执行开柜门、抓取柠檬、倾倒豆子等高难度任务;

2.配套开发工具支持:傅利叶官方同步开源涵盖DP、ACT、iDP3等主流训练框架和模型部署算法,训练流程与数据格式遵循LeRobotDatasetV2结构,可以无缝部署在同一系统中,提供从数据管理到算法部署的全流程支持,从而最大限度地减少训练和实际执行之间的差异,显著降低研发门槛。

共建开源生态,推动技术共享

目前,傅利叶已与国内外20多家顶尖科研院校及行业领军企业开展合作,基于GRx人形机器人平台在强化学习、模仿学习、VLM大模型、感知系统等研究领域产出多项突破性成果。此次数据集开源标志着傅利叶从技术攻坚向生态共建的战略升级,未来还将持续开放更多覆盖全身运控、多任务协同的进阶数据模块。

傅利叶始终致力于推动人形机器人开源生态建设,助力全球机器人技术共享与创新。傅利叶邀请所有对人形机器人研究感兴趣的开发者和科研人员加入开源浪潮,共同参与数据贡献与算法优化,迎接机器人技术赋能未来的无限可能。

获取方式:

Fourier ActionNet开源链接:https://action-net.org/

开源生态合作:gr_opensource@fftai.com

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
你最接近生理极限的一次经历是什么?网友分享让人目瞪口呆!

你最接近生理极限的一次经历是什么?网友分享让人目瞪口呆!

夜深爱杂谈
2026-04-09 19:39:13
美团回应“产品岗裁员50%”

美团回应“产品岗裁员50%”

第一财经资讯
2026-05-27 16:15:19
肠镜要停?医生揭露真相:做完对身体影响有多大

肠镜要停?医生揭露真相:做完对身体影响有多大

牛锅巴小钒
2026-05-27 00:25:51
男子将窗帘系在身上从六层下落,窗帘断裂后坠亡 保险公司被判赔保险金10万余元

男子将窗帘系在身上从六层下落,窗帘断裂后坠亡 保险公司被判赔保险金10万余元

红星新闻
2026-05-27 20:17:40
狂轰滥炸全炸了木板?导弹打水漂,伊朗这套保命绝学把美以逼疯了

狂轰滥炸全炸了木板?导弹打水漂,伊朗这套保命绝学把美以逼疯了

音乐时光的娱乐
2026-05-27 17:27:48
这跟光着有啥区别?戛纳闭幕式,真空上阵、副乳突出,露的好辣眼

这跟光着有啥区别?戛纳闭幕式,真空上阵、副乳突出,露的好辣眼

小兰聊历史
2026-05-27 02:42:03
主角:直到忆秦娥升任团长,才知楚嘉禾为何会劝她接下全本李慧娘

主角:直到忆秦娥升任团长,才知楚嘉禾为何会劝她接下全本李慧娘

观察鉴娱
2026-05-27 14:08:28
山东该反省了:GDP全国第三,民风淳朴,为何在舆论场任人宰割?

山东该反省了:GDP全国第三,民风淳朴,为何在舆论场任人宰割?

道总有理
2026-05-27 20:34:29
日本新生代最漂亮的女神,今田美樱一眼便让人心生欢喜

日本新生代最漂亮的女神,今田美樱一眼便让人心生欢喜

情感大头说说
2026-05-28 00:36:03
新人工资比我高一万,我辞职去竟品,刚入职前老板狂来电求救场

新人工资比我高一万,我辞职去竟品,刚入职前老板狂来电求救场

麦子情感故事
2026-05-27 18:21:31
有种母爱叫放手,葛荟婕曾坦言不会认回小苹果,跟着汪峰有好资源

有种母爱叫放手,葛荟婕曾坦言不会认回小苹果,跟着汪峰有好资源

汪镛的创业之路
2026-05-27 01:58:38
5%永久分红有多恐怖?每年赚3.3亿美元!一纸合约让乔丹永久躺赚

5%永久分红有多恐怖?每年赚3.3亿美元!一纸合约让乔丹永久躺赚

青橘罐头
2026-05-26 22:10:56
8枪秒杀七人,一人反杀120名黑社会成员,行凶者是职业杀手所为!

8枪秒杀七人,一人反杀120名黑社会成员,行凶者是职业杀手所为!

易玄
2026-05-26 11:23:01
俄罗斯向全球发出警告,一大批高端杀器,正往中国周边快速猛扑

俄罗斯向全球发出警告,一大批高端杀器,正往中国周边快速猛扑

福建睿平
2026-05-27 11:57:17
看李梅女儿和刘浩存飙戏,才知观众不是烦整容脸,而是丑还没演技

看李梅女儿和刘浩存飙戏,才知观众不是烦整容脸,而是丑还没演技

青橘罐头
2026-05-27 09:52:19
皇马主席大选在即,本泽马晒照力挺佩雷斯,感念昔日知遇之恩

皇马主席大选在即,本泽马晒照力挺佩雷斯,感念昔日知遇之恩

星耀国际足坛
2026-05-27 22:04:16
印尼莫走歧途,中方不会坐视不管

印尼莫走歧途,中方不会坐视不管

风铃草语
2026-05-28 06:21:48
新书披露“黎巴嫩寻呼机爆炸”内幕:行动差点被伊朗发现,摩萨德将健身房改成组装线

新书披露“黎巴嫩寻呼机爆炸”内幕:行动差点被伊朗发现,摩萨德将健身房改成组装线

红星新闻
2026-05-26 19:18:13
全民抗击乌克兰无人机:俄金融机构和私企员工可携带武器,企业可自行购买防御系统

全民抗击乌克兰无人机:俄金融机构和私企员工可携带武器,企业可自行购买防御系统

红星新闻
2026-05-27 13:29:31
《给阿嬷的情书》最大的成功,撕开了京圈对中国电影的垄断

《给阿嬷的情书》最大的成功,撕开了京圈对中国电影的垄断

担扑
2026-05-19 21:50:02
2026-05-28 07:07:00
机器人大讲堂 incentive-icons
机器人大讲堂
立德机器人平台,是一个集媒体品牌、智库咨询、投资孵化、引智招商为一体的机器人垂直领域服务平台
6627文章数 4586关注度
往期回顾 全部

科技要闻

韬定律:全球在卷纳米数 华为换了一把尺子

头条要闻

特朗普:伊朗即使放弃高浓缩铀也无法获得解除制裁

头条要闻

特朗普:伊朗即使放弃高浓缩铀也无法获得解除制裁

体育要闻

这群老阿姨,是最硬核的马刺球迷

娱乐要闻

王鹤棣风波连累父亲炸串店遭差评?

财经要闻

中国半导体的阳谋

汽车要闻

限时补贴价9.28-10.98万 MG 4X正式上市

态度原创

亲子
数码
艺术
本地
军事航空

亲子要闻

韩国孩子4岁就要考英语幼儿园是家长停不下来的教育焦虑

数码要闻

别盲目跟风!今年618买笔记本,认准这6款就够了

艺术要闻

蚂蚁新总部封顶了!大圆环到底有啥魔力,科技公司都抢着用?

本地新闻

用剪纸的方式,打开江苏扬州

军事要闻

以军称已打死哈马斯新任军事领导人

无障碍浏览 进入关怀版