网易首页 > 网易号 > 正文 申请入驻

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

0
分享至


人机交互不只是目标,更是解决方案。

作者丨邓哲敏

编辑丨齐铖湧

2026 年 11 月 12 日,CoRL 2026 “Learn@Deploy”(机器人部署中学习)半日研讨会上,清华大学交叉信息研究院助理教授徐梦迪以 Keynote 讲者身份做开场报告。

徐梦迪从清华车辆工程专业毕业后,前往卡内基梅隆大学机械工程系读博,师从 Safe AI Lab 负责人赵鼎,论文《构建可适应的通用机器人》拿下该系最佳博士论文奖。她在论文中指出,构建通用机器人不能只靠堆参数、堆数据、指望预训练自然泛化,必须补上适应的能力,让机器人到现场后靠少量新信息快速调整策略。

博士毕业后,徐梦迪来到斯坦福视觉与学习实验室,跟随吴佳俊、李飞飞做博士后。期间,她做了 ROSETTA,用大模型把人类五花八门的口语偏好转成机器能学的奖励信号,让机器人学会训练时没见过的新指令。

2025年,徐梦迪加入清华叉院,组建自己的实验室,方向进一步聚焦到“部署时学习”。2026 年初,团队发布 CoVer-VLA,让机器人在行动前先多生成几组候选动作,再用验证器挑出最贴合指令的那一组,以此对齐指令。而 Dex-X 从人类视频学习灵巧操作,靠仿真补上视频里缺失的触觉监督,入选 CoRL 2026。

在这场报告中,徐梦迪对近两年的工作做了集中提炼,并向学界分享了她对未来技术发展的判断。

▎报告人:徐梦迪 清华大学交叉信息研究院助理教授

报告题目:Building Adaptable Generalist Robots for Human-Centered Environments


01

为什么要在部署中学习

今天我想讨论的是,如何构建可适应的通用机器人,尤其是有人类在场景中的机器人。这类场景的独特挑战在于,机器人要在开放世界中完成导航和操作任务,比如清理午餐后的桌面;还要与人交互,从遵循指令、偏好、手势,到物理辅助,比如扶人站立或行走。

我有一些观察,希望能激发大家思考为什么在以人为本的场景中部署时学习非常重要。


第一,人类很容易要求机器人完成超出其技能范围的任务。最简单的办法是让人做一次,机器人直接学习人的行为或偏好。比如倒水,机器人起初不会,或者遇到一个没见过的新水杯,人可以演示一次,让机器人了解物体性质并完成任务。

第二,开放世界环境很多情况下是可观测的。比如低成本机械臂要拿一个装了很多水的水壶,第一次尝试后,它知道水壶超出了负载,第二次就可以吸取经验,改用双臂抬杯再倒水。

第三,人类偏好差异很大。倒水时,不同人想要的水量不一样,哪怕是同一个人,一天当中不同时间想要的水量也可能不同。机器人需要与人进行流式交互,比如让人按绿色按钮直接控制水量。

这些观察都引导我们得出一个结论:机器人必须在部署时获取新信息来适应其策略。

但机器人学习仍然是机器学习问题,必须有监督。我们在部署时能获得哪些监督信号呢?我认为有三种是最重要的:智能体系统、人类反馈、仿真。


第一个是智能体系统,由语言模型、视觉语言模型或独立验证器组成,帮助机器人判断行为的好坏,并提供这些好和坏的信号,让机器人在不同尝试中适应策略。

另一个自然的监督资源,是让人类直接与机器人交互。但人的指令类型多样,包括语言、手势、演示及联合模态。

最后就是仿真,既可作为评估平台,也可用于训练,广义上包括物理模拟器、机器人模拟器和世界模型,通过预测不同动作的结果来帮助机器人选择更好的动作。

接下来我将分享我们近期的三篇论文,每篇都结合了不同的资源。


02

规模验证比规模策略学习更有效

首先,让我们谈谈为什么规模验证很重要。我们的结论是,规模验证可以比规模策略学习更有效地实现视觉语言动作对齐。

做这项工作是因为我们观察到,即使是最先进的视觉语言动作模型,指令遵循能力仍然有限。已有做法一是通过改写指令增强训练数据,但这不可能覆盖部署时所有人类指令;二是用更大的视觉语言模型骨干,但学习动作生成会导致严重遗忘。


那么,能否假设已有预训练视觉语言模型,只做轻量修改,通过测试时推理和验证来提升策略?

我们提出训练一个独立验证器,用对比学习训练,并与视觉语言动作模型组合成对比验证框架。离线训练时生成困难正例和负例;部署时验证器在两个层面工作,先验证当前任务的好指令,再验证给定指令下的好动作。


论文链接:https://arxiv.org/abs/2602.12281

流程是:给定用户提示和当前场景图像,先用视觉语言模型生成多样化改写指令,再对每个改写指令多次调用视觉语言动作模型得到候选动作块,然后在指令层面和动作层面分别打分,选择最优动作部署。

验证器纯离线训练,部署时只需多次并行查询,延迟很小。例如,做批量 32 时只增加约 8 毫秒,约占整体延迟 1%。

实验还比较了不同采样机制:只加高斯噪声、重复查询原模型、只做指令采样、指令与动作混合采样。结果表明混合采样显著提高动作多样性,从而更可能采样到最佳动作块,减少动作错误。混合采样的意义正在于用不同语言指令提高动作多样性。

我们还比较了“把额外数据直接用于微调 Pi 0”和“用少量数据训练验证器并在部署时验证生成样本”。后者性能提升快约 7 倍。分布内提升约 20%,分布外约 10%。该框架也较通用,可插入不同类型的视觉语言动作模型,并在每个动作块开始时反复验证和选择。



03

如何适应多样化人类指令

第二篇工作更贴近人本环境,目标是让机器人策略更适应不同人类指令。这项工作约两年前完成,当时用强化学习学习新技能,填补预训练技能集与人类所需技能集之间的差距。


论文链接:https://openreview.net/forum?id=Ig6goVdtjb

我们做了个大型调查,让机器人与 20 个不同的人交互,那些人对机器人没什么了解。我们发现人类的指令确实非常多样化,而且人会切换角色,有时会把自己代入为机器人,有时又像是机器人的监督者。

要让机器人适应这些偏好,在当时很难。我们的做法是,用智能体系统(比如视觉语言模型)把人类偏好转化为学习奖励信号,再用这些奖励训练强化学习智能体。

通过实验,我们注意到最关键的组件是消除人类指令的歧义。最近我用 Codex 处理类似任务时也看到,即使指令很模糊,它也会先做 grounding,把指令与当前机器人 rollout 和当前场景关联起来。当时我们试图让 grounding 机制更明确,而现在,最先进的语言模型已经具备这种机制。


04

从人类演示中学习

第三篇工作讨论如何从人类演示中学习。假设机器人跟场景里的人交互,让机器人学新技能最简单的办法,就是让人演示一遍任务,机器人从演示里学有用的行为信号。


论文链接:https://arxiv.org/abs/2609.07747

难点在于,人类视频虽然有丰富的行为和偏好信息,但存在形态差距和模态差距。比如触觉信息对人类很重要,没有触觉可能完不成任务,但机器人从人类视频中很难直接获得接触信息。

我们的办法是用仿真器作为桥梁填补接触信息,使机器人在部署推理时能利用触觉信息。流程很简单,就是一个教师—学生架构,而且教师和学生都在仿真里训练。结果再次证明触觉信息很重要:没有触觉,成功率至少要降 10%,尤其在灵巧操作场景里,触觉特别关键。


05

核心理念

通过过去的这些工作,我形成了一些理念,我认为如果想研究部署时学习,下面这几点非常重要:

第一,机器人应该像人一样学习,既从智能体系统学习,也先人类学习。人机交互不只是目标,也是让机器人更有能力、更通用的解决方案。

第二,上下文学习很重要。机器人需要高频与人交互,并且高频适应策略。最轻量的方式是上下文学习,不更新模型参数;部署时也可能需要用新收集的交互数据更新参数。

第三,机器人系统应作为整体系统进化。System 1 可能需要新的机器人模型来实现更好的无意识学习,但整体上机器人系统可能是至少两层结构的复杂系统,并带有驾驭机制来利用不同语言模型的信息。

第四,仿真很重要,它提供了探索场景的替代方式,也能节省探索和奖励成本。

国际机器人顶会 CoRL 2026 即将召开,欢迎参会的研究者、学生,以及关注 AI 前沿进展的读者加入我们的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见,也在群里见。

进群传送门:扫码进群或添加微信szhsn610,备注:CoRL+单位/学校+姓名+方向。

未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!

公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国士无双的任弼时,现在都没人知道,他到底有多么厉害

国士无双的任弼时,现在都没人知道,他到底有多么厉害

比利
2026-11-18 09:20:43
整容33次成瘾,4婚4离,手撕亲妈,26岁的她为了红,体面败光

整容33次成瘾,4婚4离,手撕亲妈,26岁的她为了红,体面败光

白面书誏
2026-11-16 17:30:14
19场0球!你的林皇要降级了

19场0球!你的林皇要降级了

五星体育
2026-11-17 19:20:35
公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

只要高兴就好
2026-09-24 11:58:50
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

极目新闻
2026-11-16 10:06:42
2009 年,宁波 25 岁学霸留美博士朱海洋,在校园餐厅当着七个人的面,把 22 岁北京学妹斩首,作案后不逃不躲,伸手等警察铐住自己

2009 年,宁波 25 岁学霸留美博士朱海洋,在校园餐厅当着七个人的面,把 22 岁北京学妹斩首,作案后不逃不躲,伸手等警察铐住自己

唠叨说历史
2026-11-12 18:20:19
下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

罗说NBA
2026-11-18 07:39:17
完了!膝软骨退化,库里生涯真的要完了……

完了!膝软骨退化,库里生涯真的要完了……

体育新角度
2026-11-18 11:27:31
40年内3份条约,本已确定好中俄边界,为何沙俄会撕毁全部条约

40年内3份条约,本已确定好中俄边界,为何沙俄会撕毁全部条约

历史摆渡
2026-10-17 19:00:05
残酷!多家国企开始实施“员工退出”,5类员工或“卷铺盖走人”

残酷!多家国企开始实施“员工退出”,5类员工或“卷铺盖走人”

职场资深秘书
2026-11-18 16:00:16
亲眼目睹藏族少女天葬之行,参加全过程后心悸:颠覆我对生死的认知

亲眼目睹藏族少女天葬之行,参加全过程后心悸:颠覆我对生死的认知

古怪奇谈录
2025-09-09 14:36:35
18分逆转!格莱姆斯47+6+3,赛后小里冲进场庆祝,东契奇先行退场

18分逆转!格莱姆斯47+6+3,赛后小里冲进场庆祝,东契奇先行退场

担酒
2026-11-18 15:07:43
11月18日,郑钦文最新资讯:入围WTA两项大奖候选,奖金跻身TOP20

11月18日,郑钦文最新资讯:入围WTA两项大奖候选,奖金跻身TOP20

大秦壁虎白话体育
2026-11-18 13:03:42
现货黄金失守3760美元/盎司,日内跌2.36%

现货黄金失守3760美元/盎司,日内跌2.36%

每日经济新闻
2026-11-18 16:24:24
46岁的董洁分享整个化妆过程,脸色发黄没神采,化妆后惊艳众人

46岁的董洁分享整个化妆过程,脸色发黄没神采,化妆后惊艳众人

骄阳之夏明
2026-11-18 13:24:09
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

职场资深秘书
2026-11-18 15:57:52
打破迷信!最吉利的数字不是6和8,真正顶级吉数藏着大智慧

打破迷信!最吉利的数字不是6和8,真正顶级吉数藏着大智慧

娱乐圈见解说
2026-11-17 08:20:03
钱,在权力面前一文不值!顶多就是一棵韭菜

钱,在权力面前一文不值!顶多就是一棵韭菜

卷史
2025-09-16 14:17:46
2026-11-18 17:00:49
AI科技评论 incentive-icons
AI科技评论
点评学术,服务AI
7824文章数 20797关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

旅游
数码
亲子
公开课
军事航空

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

亲子要闻

宝宝气人但是聪明的4个行为

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版