网易首页 > 网易号 > 正文 申请入驻

200个任务、1700万帧!大晓开源L5级多模态具身物理智能数据集

0
分享至

来源:滚动播报

(来源:上观新闻)



新民晚报记者获悉,基于全球首创的具身模型信息密度定律与以人为中心的环境式数据采集方案2.0,并依托环境式采集引擎ACE,大晓机器人联合南洋理工大学S-Lab近日重磅开源L5级多模态具身物理智能数据集ACE-Data-0。

通过对真实物理交互、长程任务过程与多模态因果信号的高保真采集和高精度标注,ACE-Data-0为全球具身模型提供面向泛化、反思与进化的高质量数据底座,推动通用物理智能加速跨越实验验证,走向规模化产业落地。

具身数据的价值不在于规模堆叠,而在于能否高密度记录那些真正改变行动结果的信息;在这一定律下,L1—L2级数据仅能支撑基础预训练,L3—L4 级数据止步于已知任务的拟合;ACE-Data-0数据集已迈入L5级,深度融入接触压力、自然出现的犹豫与恢复过程,以及真实家庭场景中的开放行为变量,通过桌面尺度与房间尺度两套互补采集系统,将真实家庭环境转化为可持续记录、统一标定和精准同步的具身数据采集场景,让日常生活中的真实交互直接成为机器人学习物理世界的数据来源。


看见完整的物理过程

过去几年,视觉语言模型、VLA 和世界模型快速发展,但机器人真正进入物理世界后,仍然面对一个基础问题:应该从什么数据中学习人类的行动能力?

现有第一人称视频通常缺少精确的人体、手部和物体状态;动作捕捉数据又多来自理想化实验室,容易缺少自然遮挡、第一人称视角、音频和触觉。大量数据还停留在持续数秒的抓取、放置等单步动作,难以描述真实家庭场景任务中的长期依赖。

因此,ACE-Data-0不再把活动切割成孤立短片,而是连续记录感知、行动、接触和状态变化,让不同模态共同描述同一个物理过程。其重点可以概括为:完整感知、长时序任务、多模态同步。


把所有信号锁定在同一时空

多模态数据真正的难点,不是设备够不够多,而是不同设备产生的数据能否准确对应。摄像机、动作捕捉系统、触觉手套和音频设备通常拥有独立时钟与不同采样频率。即使只有几毫秒偏差,也可能出现画面中的手尚未接触杯子,触觉信号却已经产生的问题;如果不同摄像机、人体和物体没有统一空间基准,也无法准确建立几何关系。

通过时间同步与空间标定,ACE-Data-0把视频帧、人体动作、物体状态、触觉读数和音频统一到同一条时间线,并将外部摄像机、持续运动的第一人称设备、人体、双手和物体配准至共享世界坐标系。


因此,每次采集并不是一组互不相关的数据流,而是一份对同一物理过程的统一记录。研究者可以直接找到某个视频帧对应的人体姿态、物体位置、接触压力和声音变化,也可以比较第一人称与第三人称视角下的同一事件。

ACE-Data-0进一步提供相机参数和同步时间线、人体及手部状态、物体网格与六自由度位姿、边界框、运动轨迹、手—物接触信息,以及与物理时间线对齐的自然语言描述;其中,大量标注直接来自经过标定的采集系统,而非完全依赖模型事后估计。这使数据在遮挡、快速运动和长期任务中拥有更稳定的一致性,也让模型能够真正学习发生在同一时刻的视觉、动作、声音和接触。

目标级采集保留真实行为差异

新民晚报记者了解到,ACE-Data-0 覆盖三类互补任务——

第一类是原子级人—物交互,单次约3分钟,包括倒水、清洗、擦拭、切割、折叠和整理等单项操作,即使最短序列也以分钟计,而非传统HOI数据中常见的数秒片段;

第二类是多个原子动作组成的长时序家庭场景活动链,可持续20—30分钟,例如从打开冰箱、取出食材,到清洗、切配、烹饪、装盘和收拾;

第三类是人—场景交互约5分钟,包括移动、坐下、锻炼、开关家具、取放物品及姿态转换等。


与严格规定每一步动作的脚本式采集不同,ACE-Data-0采用目标级指令。参与者只被告知最终任务,不被要求遵循固定流程,因此可以自由选择物品、操作顺序和移动路径,也可能在过程中犹豫、改变计划、返回上一步或处理意外情况。同样是整理房间,有人先收拾桌面,有人先整理沙发;同样是准备食物,不同参与者会选择不同工具和顺序。这些差异在标准化采集中可能被视为噪声,但对于真正进入家庭场景的机器人来说,正是必须理解的现实。

据介绍,ACE-Data-0包含150小时数据、1700万帧视频、200个任务类别、50名参与者、2个真实家庭场景和7.5万个交互片段,覆盖原子级人—物交互、长时序家庭场景活动链及人与场景交互。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宁送皇马,绝不给巴萨!西足协正式立案,阿尔瓦雷斯合同锁到2030,5亿买断条款面前巴萨1亿报价直接砸回去

宁送皇马,绝不给巴萨!西足协正式立案,阿尔瓦雷斯合同锁到2030,5亿买断条款面前巴萨1亿报价直接砸回去

小七说篮球
2026-07-31 10:19:16
多家车企公布7月“成绩单”:零跑交付超10万台,鸿蒙智行交付4.5万台,小鹏交付3.8万台,理想、小米、极氪超3万台

多家车企公布7月“成绩单”:零跑交付超10万台,鸿蒙智行交付4.5万台,小鹏交付3.8万台,理想、小米、极氪超3万台

每日经济新闻
2026-08-01 12:44:05
身家2441亿!梁文锋成全球AI首富,但他从未卖过股份,钱从哪来?

身家2441亿!梁文锋成全球AI首富,但他从未卖过股份,钱从哪来?

有范又有料
2026-07-15 17:41:59
震惊!上海一24岁小伙用剪刀给自己做"手术",大量鲜血涌出!踉踉跄跄冲进医院…

震惊!上海一24岁小伙用剪刀给自己做"手术",大量鲜血涌出!踉踉跄跄冲进医院…

上海约饭局
2026-07-30 15:06:58
18人亮相!吴梦洁正式归队 李盈莹继续缺席 中国女排庆祝杨舒茗生日

18人亮相!吴梦洁正式归队 李盈莹继续缺席 中国女排庆祝杨舒茗生日

刘哥谈体育
2026-08-01 03:40:05
王楠基地承接日本训练营!前国乒总教练‌李隼亲自坐镇,收入曝光

王楠基地承接日本训练营!前国乒总教练‌李隼亲自坐镇,收入曝光

阿丰聊娱
2026-08-01 02:10:55
江苏养老金怎么涨、涨多少?官方发布在这,别再等错消息了!

江苏养老金怎么涨、涨多少?官方发布在这,别再等错消息了!

阿莱美食汇
2026-08-01 06:11:09
64岁周星驰遭李修贤炮轰:无儿女不敢见人,钱多也没用

64岁周星驰遭李修贤炮轰:无儿女不敢见人,钱多也没用

寒士之言本尊
2026-07-31 14:22:15
最牛美女处长,1000天和男上司开房410次,临时工晋升财务副处长

最牛美女处长,1000天和男上司开房410次,临时工晋升财务副处长

三石记
2026-06-26 07:16:19
湖北宝妈电梯打人后续,“全网社死”仅开胃菜,最可怜的是孩子

湖北宝妈电梯打人后续,“全网社死”仅开胃菜,最可怜的是孩子

寒士之言本尊
2026-07-31 15:14:53
特朗普大怒,提醒中国别介入,美国要掘地三尺,把穆杰塔巴揪出来

特朗普大怒,提醒中国别介入,美国要掘地三尺,把穆杰塔巴揪出来

三石记
2026-08-01 11:20:57
原来非油炸是这个意思,网友:果然中华文化,博大精深

原来非油炸是这个意思,网友:果然中华文化,博大精深

马蹄烫嘴说美食
2026-07-30 15:21:33
养老金整改来了!4项调整落地,这4类人将优先核查补发

养老金整改来了!4项调整落地,这4类人将优先核查补发

刘小社
2026-08-01 09:44:30
中国生产线被拆除之后,美国向印尼放话:我们和日本也没法投资,因为你们的产业不达标,根本不符合要求

中国生产线被拆除之后,美国向印尼放话:我们和日本也没法投资,因为你们的产业不达标,根本不符合要求

人生录
2026-07-31 00:05:13
威尔·法瑞尔曝梅西拍广告铁规:半小时内必须拍完,时间一到直接走人

威尔·法瑞尔曝梅西拍广告铁规:半小时内必须拍完,时间一到直接走人

元气满分吖
2026-07-31 02:43:42
她两次被医院打回,最终在快餐店停车场生下孩子——母亲质疑医院决策

她两次被医院打回,最终在快餐店停车场生下孩子——母亲质疑医院决策

我是一个粉刷匠2
2026-07-30 18:17:24
特朗普恐没想到,伊朗连自己的妻子儿子都不放过!追杀令已下达?

特朗普恐没想到,伊朗连自己的妻子儿子都不放过!追杀令已下达?

介知
2026-07-31 11:03:02
商务部新闻发言人就美国将中国企业列入所谓涉疆法案实体清单答记者问

商务部新闻发言人就美国将中国企业列入所谓涉疆法案实体清单答记者问

新京报
2026-08-01 09:31:13
多伦多站官宣资格赛签表:郑钦文vs塔拉鲁迪 一场定胜负冲正赛

多伦多站官宣资格赛签表:郑钦文vs塔拉鲁迪 一场定胜负冲正赛

醉卧浮生
2026-08-01 07:38:46
再引热议!曾琦入职浙大四院专家号秒空,网传月薪仅8000,税后年收入高达四五十万

再引热议!曾琦入职浙大四院专家号秒空,网传月薪仅8000,税后年收入高达四五十万

老猫观点
2026-08-01 11:48:24
2026-08-01 14:03:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4286322文章数 9108关注度
往期回顾 全部

科技要闻

特斯拉拆不掉中国制造

头条要闻

牛弹琴:6万非法移民涌入西班牙 特朗普发言石破天惊

头条要闻

牛弹琴:6万非法移民涌入西班牙 特朗普发言石破天惊

体育要闻

蔡崇信夫妇决定离婚!结束30年婚姻

娱乐要闻

周星驰质疑董宇辉看《大话西游》500遍

财经要闻

宇树造富盛宴:王兴兴将跻身百亿富豪

汽车要闻

听劝!换回机械门把手,这才是碳基生物该开的车!

态度原创

房产
健康
教育
旅游
亲子

房产要闻

1700亿砸下!信息量巨大!海南甩出又一个超级规划!

中风易复发!谈中风康复与二级预防

教育要闻

考上本科又怎么了切记这两个扎心真相

旅游要闻

全国2026级新生注意!南京钟山风景区送你一场“入学礼”

亲子要闻

新“三鹿”初现?婴儿奶粉暴雷!检出铅超标9倍,孩童大脑危险!

无障碍浏览 进入关怀版