网易首页 > 网易号 > 正文 申请入驻

百万小时数据喂下去,机器人就能学会一切?这场塔尖会拆解「具身数据战」

0
分享至

当训练数据以百万小时计,机器人究竟能学会什么?从抓取、分拣物品,到在陌生环境中连续完成多步操作,不同任务对机器人能力的要求各不相同,所需的训练数据也随之变化。人类第一视角视频、真机交互记录与仿真生成数据提供了不同的学习信号,其价值也随模型架构、训练阶段与应用目标而变化。如何选择和组合数据、验证能力收益,并以合理成本持续获取和使用有效数据,构成了具身智能下一场数据战的核心。

11 月 5 日,由张江 AI 创新小镇生态公司与机器之心联合主办的「Triple T」张江塔尖会系列技术沙龙在张江 AI 创新小镇举行。本期以「Data In Motion|具身智能的下一场数据战」为题,聚焦具身数据的前沿探索与实践进展,通过一场双人技术交锋、三场 Open Mic 与一场产业碰撞场 Panel,围绕预训练数据选择、多模态采集、数据配方与评测、规模化交付等方向,探讨具身数据转化为机器人能力的路径与瓶颈,为研究交流与产业协作搭建平台。



双人技术交锋:具身预训练,下一笔数据投入该花在哪?

同一笔数据预算,是用于覆盖更多人类操作场景,还是积累机器人的真实动作与交互反馈?在具身预训练阶段,这一选择不仅影响模型能够获得什么能力,也关系到后续任务适配与真实场景部署。围绕这一取舍,本期沙龙设置了题为「具身预训练:优先规模化人类经验,还是积累真机交互?」的双人对谈。

对谈由上海科技大学研究员、助理教授、博士生导师,YesAI 实验室负责人、瞬适科技创始人石野主持。蚂蚁灵波科技首席数据科学家黄用韬与清华大学人工智能学院助理教授刘淼,围绕人类经验与真机数据的能力分工、不同训练阶段的数据投入,以及预训练效果的验证展开交流,并进一步探讨触觉反馈、跨本体迁移与模型泛化等关键问题。

黄用韬认为,如果必须为具身预训练的数据投入确定优先级,现阶段应优先积累真机数据,因为机器人需要通过与物理世界的直接交互,建立可靠的操作能力。相比之下,大规模人类视频数据可用于支持任务理解与高层规划,但在动作轨迹、力度控制及接触反馈等方面仍存在精度不足的问题。

他特别强调,触觉不应只是后训练阶段的补充,而应尽早融入基础能力学习;通过无本体采集、电子皮肤等技术探索低成本触觉数据获取方式,也值得关注。

在研发实践中,团队应先通过真机数据建立对任务和失败原因的基本认识,再逐步扩大数据规模。对于预训练效果的验证,不能只看已有任务的成功率,还应考察模型面对新任务时的学习速度、适配所需数据量及跨场景泛化能力,并通过多任务评测识别真实收益。

刘淼则强调,具身数据的选择并不存在统一答案,关键取决于机器人的应用定位与训练阶段。工业场景中的精密抓取、装配等任务高度依赖真机数据,而面向开放环境的通用具身智能,则需要充分利用人类经验数据的规模化优势。

他认为,预训练通常更重视数据覆盖范围,后训练则通过更高质量的数据提升特定任务表现。不过,人类动作与机器人本体之间存在结构和控制差异,即使能够精确还原人类操作,也不意味着可以直接迁移至机器人。人类数据的潜在价值还包括主动感知、任务规划、手眼协调及长程行为衔接。

对于触觉数据,他认为应综合考虑采集成本、数据质量与覆盖范围,少量特定构型数据能否有效提升预训练能力仍有待验证。此外,当前具身预训练缺乏可靠的独立评测手段,其真实贡献容易被后训练效果掩盖,如何有效区分两者的收益仍是重要挑战。



从左到右依次为:上海科技大学研究员、助理教授、博士生导师,YesAI 实验室负责人、瞬适科技创始人石野,蚂蚁灵波科技首席数据科学家黄用韬,清华大学人工智能学院助理教授刘淼

技术 Open Mic:机器人究竟从数据里学到了什么?


数据路线的选择,需要进一步落实为采集、训练与验证的具体方法。三场技术 Open Mic 分别从物理交互信息的获取、数据配方与评测,以及真实部署中的闭环学习切入,讨论如何将数据转化为可验证、可持续改进的操作能力。

视觉能够记录物体的状态和运动,触觉则能补充接触过程中难以从画面直接判断的受力、滑动等信息。千觉机器人创始人兼首席科学家、上海交通大学教授、机器人操作感知与智能实验室(MPI Lab)负责人马道林以《从多模态采集到物理交互数据》为题展开分享。他强调,触觉包含受力、几何、滑动与运动等多种信息,是机器人完成精细操作的重要依据。要将这些信息转化为操作能力,既要通过高质量、高一致性的传感器采集高质量数据,也要建立规模化采集的标准规范,并推动模型训练与模型验证工作,搭建起一套高质量的机器人交互能力训练体系。在数据采集层面,团队深度布局人机解耦的采集方式,从人类操作中获取触觉经验,生产高质量真实世界数据;同时通过自研触觉仿真器,以较低成本生产大规模高质量仿真数据,并为机器人模型提供评测试验场。他还展示了融合视觉、触觉、语言、动作的 VTLA 模型在自动穿鞋带、纸盒成型等真机任务中的表现。



千觉机器人创始人兼首席科学家、上海交通大学教授、机器人操作感知与智能实验室(MPI Lab)负责人 马道林

数据进入训练环节后,怎样组合不同来源的样本,又如何判断组合是否有效?上海交通大学人工智能学院副教授、上海创智学院全时导师、RhOS.ai lab 负责人李永露带来《机器人学习的数据配方与评测》,将讨论推进到数据选择与能力验证。他指出,数据配方应从机器人需要完成的任务出发,结合模型结构、训练目标与评测方式共同确定。新增数据是否有效,需要通过模型训练和下游任务评测来检验,再将结果反馈到下一轮采集与筛选中。随着数据规模扩大,投入不仅发生在采集端,还包括后续处理、训练与存储,因此更需要持续检验数据的训练收益。硬件、模型与数据基础设施应协同设计、同步迭代,让数据采集与模型训练形成持续反馈的闭环,在统筹整体成本的同时,提高数据投入的有效性。



上海交通大学人工智能学院副教授、上海创智学院全时导师、RhOS.ailab 负责人 李永露

数据的价值,最终要体现为机器人能力的持续增长。深朴智能联合创始人兼技术副总裁李明磊以《从经验到智能:具身数据 Scaling 与持续学习》为题,提出以高保真经验支撑预训练,再通过持续学习拓展能力边界。团队围绕经验、表征、评测与反馈,通过 HiFi-UMI 探索降低策略冷启动对真机示范的依赖,结合三维监督、物理评测与纠错反馈推动策略迭代,并探索 GPT-Astra 等大模型与具身策略协同,让真实部署既成为能力的检验场,也成为能力增长的来源,推动机器人在与物理世界的持续交互中学习和进化。



深朴智能联合创始人兼技术副总裁 李明磊

产业碰撞场:从采集到训练,具身数据还能怎么降本?


从验证训练收益到持续供给有效数据,还需要解决不同硬件的数据对齐、采集质量与生产效率等问题。如何让新增信息被模型真正用好,又如何减少采集、处理与适配中的成本?

围绕这些问题,产业碰撞场以「具身数据的新变量:多样性、多模态与规模化」为题,由机器之心合伙人周芳主持。香港大学 MMLab 博士生、Lumina 具身智能社区创始人陈天行,新智具身 CEO 赵世豪与模感科技联合创始人兼 CTO 周航,结合各自实践,围绕数据多样性的价值、触觉等模态的有效利用,以及规模化生产的质量与成本展开交流。

陈天行提到,判断数据价值,既要关注分布与质量,也要结合模型架构和预训练能力。新增数据能否带来泛化收益,需要通过长程任务、复杂交互与场景变化的评测,结合横向比较和消融实验验证。对触觉而言,任务设计应让接触信息真正参与决策,才能检验其实际贡献。

周航强调,全身触觉对大脑开展物理世界认知训练具有重要支撑作用,它对小脑模型的闭环控制也有深远助益。数据需保持稳定、准确,并做好时序同步与运动干扰过滤。规模化降本可从量产、减少重复定制及 AI 辅助清洗入手,他也期待行业形成统一的数据标准。

赵世豪指出,不同训练阶段对数据数量、质量与精度的要求各不相同。要让模型有效利用触觉,需要先解决不同硬件的数据表征对齐,再探索融合方式。在团队实验中,过早融合视触觉表征可能降低性能。数据生产端也应重视采集人员的选拔与操作能力,从源头提高数据质量和投入效率。



从左到右依次为:机器之心合伙人周芳,香港大学 MMLab 博士生、Lumina 具身智能社区创始人陈天行,新智具身 CEO 赵世豪,模感科技联合创始人兼 CTO 周航

从数据来源的选择,到训练收益的验证,再到生产与使用成本,本期「Triple T」张江塔尖会系列技术沙龙将「数据规模」拆解为与任务、模型和部署条件相关的具体问题。不同路线的交流进一步凸显,数据投入需要围绕明确的能力目标展开,并通过持续评测检验其价值。

这些问题的进一步探索,也需要研究与产业之间的持续交流与协作。在最后的「Link up · 生态连接」环节,嘉宾与现场观众继续围绕相关议题交换看法。以此次在张江 AI 创新小镇的相聚为起点,围绕数据生产、模型评测与实际应用展开的协作,有望让现场的讨论延伸为新的研究与实践,推动数据积累转化为可在真实任务中验证的机器人能力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《GTA6》Xbox商城评分出炉:3%玩家给低分差评!

《GTA6》Xbox商城评分出炉:3%玩家给低分差评!

游民星空
2026-11-18 23:28:03
微生物菌剂促进绿色农业提档升级

微生物菌剂促进绿色农业提档升级

环球网资讯
2026-11-18 10:39:06
不管你信不信,能吃能喝的老人,基本在71岁,已经不做这4件事了

不管你信不信,能吃能喝的老人,基本在71岁,已经不做这4件事了

新时代的两性情感
2026-10-19 03:06:11
事态彻底升级了!比黄仁勋的事更大:美国与8个盟友签约,联手针对中国AI,引发舆论热议!

事态彻底升级了!比黄仁勋的事更大:美国与8个盟友签约,联手针对中国AI,引发舆论热议!

林杰论事
2026-11-18 01:33:26
长城魏建军回应于东来买310辆坦克奖励高管

长城魏建军回应于东来买310辆坦克奖励高管

界面新闻
2026-11-18 19:19:48
广东宏远65-69山东!球员评分:1人满分,2人良好,6人不合格

广东宏远65-69山东!球员评分:1人满分,2人良好,6人不合格

多特体育说
2026-11-19 00:01:32
蔬菜里的“挖痰”高手,冬天使劲吃,润肺化痰,嗓子舒服,肺干净了,睡得安稳

蔬菜里的“挖痰”高手,冬天使劲吃,润肺化痰,嗓子舒服,肺干净了,睡得安稳

小茉莉美食记
2026-11-17 17:28:33
跑光了!6年少了8300万人,年轻人说不交就不交,问题出在哪?

跑光了!6年少了8300万人,年轻人说不交就不交,问题出在哪?

南宗历史
2026-10-14 00:36:57
黄仁勋女儿怒斥高管,父亲辞职后她仍留英伟达

黄仁勋女儿怒斥高管,父亲辞职后她仍留英伟达

野生运营
2026-11-17 07:44:55
1927年4月,邓颖超在广州产下一子,由于这个孩子生下来体重太大,近十斤重,超过了正常标准,导致无法正常顺产出来

1927年4月,邓颖超在广州产下一子,由于这个孩子生下来体重太大,近十斤重,超过了正常标准,导致无法正常顺产出来

回京历史梦
2026-11-13 10:28:05
告诉你一个心理学秘密:千万不要提前焦虑,事情会以奇特方式解决

告诉你一个心理学秘密:千万不要提前焦虑,事情会以奇特方式解决

松果正念袁老师
2025-03-11 20:52:18
黄仁勋又下了步臭棋,前脚声明要回归英伟达,后脚就被董事会拒绝

黄仁勋又下了步臭棋,前脚声明要回归英伟达,后脚就被董事会拒绝

光电科技君
2026-11-18 11:31:59
逃过了股市暴跌,却没逃过银行理财的暴击

逃过了股市暴跌,却没逃过银行理财的暴击

深水财经社
2026-11-18 14:21:15
连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

麓谷隐士
2026-11-18 00:05:04
U17徐正鹏&万项:要以最好状态面对世少赛,打出自己的特点

U17徐正鹏&万项:要以最好状态面对世少赛,打出自己的特点

懂球帝
2026-11-18 14:49:47
美国加州叫停Waymo高速公路运营,无人驾驶出租车曾试图超越公路巡警

美国加州叫停Waymo高速公路运营,无人驾驶出租车曾试图超越公路巡警

IT之家
2026-11-18 08:27:42
退休金拿到这个数就算知足,80%老人达不到,看看你够吗

退休金拿到这个数就算知足,80%老人达不到,看看你够吗

小影的娱乐
2026-11-15 06:57:51
66票赞成、52票反对!以议长换人,内塔尼亚胡第一块实权阵地丢了

66票赞成、52票反对!以议长换人,内塔尼亚胡第一块实权阵地丢了

南宗历史
2026-11-18 07:49:01
八人登陆无人圆满:曼联的阿根廷魔咒

八人登陆无人圆满:曼联的阿根廷魔咒

斯坦福桥看更人
2026-11-18 23:09:41
美国银行:不排除美联储12月加息50个基点

美国银行:不排除美联储12月加息50个基点

财联社
2026-11-18 16:20:10
2026-11-19 01:55:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
数码
家居
健康
手机

教育要闻

专家解读:读懂山东教育“十五五” | 未来五年 如何提升青少年学生语言文化素养?

数码要闻

微星RTX Spark迷你主机EdgeMesa N AI+上市,售价33999元起

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

苹果自家App Store终于适配iPhone Duo,铰链屏裂事件又有新进展

无障碍浏览 进入关怀版