网易首页 > 网易号 > 正文 申请入驻

清华徐梦迪:预训练做再好都不够,机器人需要在部署中学习 | CoRL 2026

0
分享至


人机交互不只是目标,更是解决方案。

作者丨邓哲敏

编辑丨齐铖湧

2026 年 11 月 12 日,CoRL 2026 “Learn@Deploy”(机器人部署中学习)半日研讨会上,清华大学交叉信息研究院助理教授徐梦迪以 Keynote 讲者身份做开场报告。

徐梦迪从清华车辆工程专业毕业后,前往卡内基梅隆大学机械工程系读博,师从 Safe AI Lab 负责人赵鼎,论文《构建可适应的通用机器人》拿下该系最佳博士论文奖。她在论文中指出,构建通用机器人不能只靠堆参数、堆数据、指望预训练自然泛化,必须补上适应的能力,让机器人到现场后靠少量新信息快速调整策略。

博士毕业后,徐梦迪来到斯坦福视觉与学习实验室,跟随吴佳俊、李飞飞做博士后。期间,她做了 ROSETTA,用大模型把人类五花八门的口语偏好转成机器能学的奖励信号,让机器人学会训练时没见过的新指令。

2025年,徐梦迪加入清华叉院,组建自己的实验室,方向进一步聚焦到“部署时学习”。2026 年初,团队发布 CoVer-VLA,让机器人在行动前先多生成几组候选动作,再用验证器挑出最贴合指令的那一组,以此对齐指令。而 Dex-X 从人类视频学习灵巧操作,靠仿真补上视频里缺失的触觉监督,入选 CoRL 2026。

在这场报告中,徐梦迪对近两年的工作做了集中提炼,并向学界分享了她对未来技术发展的判断。以下为雷峰网从现场带回的演讲实录精编。

▎报告人:徐梦迪 清华大学交叉信息研究院助理教授

报告题目:Building Adaptable Generalist Robots for Human-Centered Environments


01

为什么要在部署中学习

今天我想讨论的是,如何构建可适应的通用机器人,尤其是有人类在场景中的机器人。这类场景的独特挑战在于,机器人要在开放世界中完成导航和操作任务,比如清理午餐后的桌面;还要与人交互,从遵循指令、偏好、手势,到物理辅助,比如扶人站立或行走。

我有一些观察,希望能激发大家思考为什么在以人为本的场景中部署时学习非常重要。


第一,人类很容易要求机器人完成超出其技能范围的任务。最简单的办法是让人做一次,机器人直接学习人的行为或偏好。比如倒水,机器人起初不会,或者遇到一个没见过的新水杯,人可以演示一次,让机器人了解物体性质并完成任务。

第二,开放世界环境很多情况下是可观测的。比如低成本机械臂要拿一个装了很多水的水壶,第一次尝试后,它知道水壶超出了负载,第二次就可以吸取经验,改用双臂抬杯再倒水。

第三,人类偏好差异很大。倒水时,不同人想要的水量不一样,哪怕是同一个人,一天当中不同时间想要的水量也可能不同。机器人需要与人进行流式交互,比如让人按绿色按钮直接控制水量。

这些观察都引导我们得出一个结论:机器人必须在部署时获取新信息来适应其策略。

但机器人学习仍然是机器学习问题,必须有监督。我们在部署时能获得哪些监督信号呢?我认为有三种是最重要的:智能体系统、人类反馈、仿真。


第一个是智能体系统,由语言模型、视觉语言模型或独立验证器组成,帮助机器人判断行为的好坏,并提供这些好和坏的信号,让机器人在不同尝试中适应策略。

另一个自然的监督资源,是让人类直接与机器人交互。但人的指令类型多样,包括语言、手势、演示及联合模态。

最后就是仿真,既可作为评估平台,也可用于训练,广义上包括物理模拟器、机器人模拟器和世界模型,通过预测不同动作的结果来帮助机器人选择更好的动作。

接下来我将分享我们近期的三篇论文,每篇都结合了不同的资源。


02

规模验证比规模策略学习更有效

首先,让我们谈谈为什么规模验证很重要。我们的结论是,规模验证可以比规模策略学习更有效地实现视觉语言动作对齐。

做这项工作是因为我们观察到,即使是最先进的视觉语言动作模型,指令遵循能力仍然有限。已有做法一是通过改写指令增强训练数据,但这不可能覆盖部署时所有人类指令;二是用更大的视觉语言模型骨干,但学习动作生成会导致严重遗忘。


那么,能否假设已有预训练视觉语言模型,只做轻量修改,通过测试时推理和验证来提升策略?

我们提出训练一个独立验证器,用对比学习训练,并与视觉语言动作模型组合成对比验证框架。离线训练时生成困难正例和负例;部署时验证器在两个层面工作,先验证当前任务的好指令,再验证给定指令下的好动作。


论文链接:https://arxiv.org/abs/2602.12281

流程是:给定用户提示和当前场景图像,先用视觉语言模型生成多样化改写指令,再对每个改写指令多次调用视觉语言动作模型得到候选动作块,然后在指令层面和动作层面分别打分,选择最优动作部署。

验证器纯离线训练,部署时只需多次并行查询,延迟很小。例如,做批量 32 时只增加约 8 毫秒,约占整体延迟 1%。

实验还比较了不同采样机制:只加高斯噪声、重复查询原模型、只做指令采样、指令与动作混合采样。结果表明混合采样显著提高动作多样性,从而更可能采样到最佳动作块,减少动作错误。混合采样的意义正在于用不同语言指令提高动作多样性。

我们还比较了“把额外数据直接用于微调 Pi 0”和“用少量数据训练验证器并在部署时验证生成样本”。后者性能提升快约 7 倍。分布内提升约 20%,分布外约 10%。该框架也较通用,可插入不同类型的视觉语言动作模型,并在每个动作块开始时反复验证和选择。



03

如何适应多样化人类指令

第二篇工作更贴近人本环境,目标是让机器人策略更适应不同人类指令。这项工作约两年前完成,当时用强化学习学习新技能,填补预训练技能集与人类所需技能集之间的差距。


论文链接:https://openreview.net/forum?id=Ig6goVdtjb

我们做了个大型调查,让机器人与 20 个不同的人交互,那些人对机器人没什么了解。我们发现人类的指令确实非常多样化,而且人会切换角色,有时会把自己代入为机器人,有时又像是机器人的监督者。

要让机器人适应这些偏好,在当时很难。我们的做法是,用智能体系统(比如视觉语言模型)把人类偏好转化为学习奖励信号,再用这些奖励训练强化学习智能体。

通过实验,我们注意到最关键的组件是消除人类指令的歧义。最近我用 Codex 处理类似任务时也看到,即使指令很模糊,它也会先做 grounding,把指令与当前机器人 rollout 和当前场景关联起来。当时我们试图让 grounding 机制更明确,而现在,最先进的语言模型已经具备这种机制。


04

从人类演示中学习

第三篇工作讨论如何从人类演示中学习。假设机器人跟场景里的人交互,让机器人学新技能最简单的办法,就是让人演示一遍任务,机器人从演示里学有用的行为信号。


论文链接:https://arxiv.org/abs/2609.07747

难点在于,人类视频虽然有丰富的行为和偏好信息,但存在形态差距和模态差距。比如触觉信息对人类很重要,没有触觉可能完不成任务,但机器人从人类视频中很难直接获得接触信息。

我们的办法是用仿真器作为桥梁填补接触信息,使机器人在部署推理时能利用触觉信息。流程很简单,就是一个教师—学生架构,而且教师和学生都在仿真里训练。结果再次证明触觉信息很重要:没有触觉,成功率至少要降 10%,尤其在灵巧操作场景里,触觉特别关键。


05

核心理念

通过过去的这些工作,我形成了一些理念,我认为如果想研究部署时学习,下面这几点非常重要:

第一,机器人应该像人一样学习,既从智能体系统学习,也先人类学习。人机交互不只是目标,也是让机器人更有能力、更通用的解决方案。

第二,上下文学习很重要。机器人需要高频与人交互,并且高频适应策略。最轻量的方式是上下文学习,不更新模型参数;部署时也可能需要用新收集的交互数据更新参数。

第三,机器人系统应作为整体系统进化。System 1 可能需要新的机器人模型来实现更好的无意识学习,但整体上机器人系统可能是至少两层结构的复杂系统,并带有驾驭机制来利用不同语言模型的信息。

第四,仿真很重要,它提供了探索场景的替代方式,也能节省探索和奖励成本。

国际机器人顶会 CoRL 2026即将召开,欢迎参会的研究者、学生,以及关注AI 前沿进展的读者加入我们雷峰网的交流群。

在这里,你可以认识同行、交流研究,分享招生信息、科研合作、约饭、投稿、组队参会等,寻找潜在的合作伙伴。

大会期间,我们也会持续带来现场报道速递、嘉宾演讲解读、前沿方向梳理和论坛精华。

会场见,也在群里见。

? 进群传送门:扫码进群或添加微信szhsn610,备注:CoRL+单位/学校+姓名+方向。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
斩首行动落地!以军锁定目标,深夜发起突袭,哈马斯指挥官已阵亡

斩首行动落地!以军锁定目标,深夜发起突袭,哈马斯指挥官已阵亡

巷北楠猫本尊
2026-11-16 16:00:00
天生鬼才的五大星座!

天生鬼才的五大星座!

别人都叫我阿螫
2026-11-18 15:33:09
Anthropic,正在用AI创造一种全新的企业组织

Anthropic,正在用AI创造一种全新的企业组织

未尽研究
2026-10-29 02:19:57
内娱姐妹花:决裂10年,拒绝复合

内娱姐妹花:决裂10年,拒绝复合

最人物
2026-11-18 15:45:33
诸葛亮到底是不是军事家?粟裕认为不是,打仗不行,是政治谋略家

诸葛亮到底是不是军事家?粟裕认为不是,打仗不行,是政治谋略家

史明人生
2026-11-18 19:45:09
西红柿为啥变难吃了?不是农业倒退,而是人类被迫交的“生存税”

西红柿为啥变难吃了?不是农业倒退,而是人类被迫交的“生存税”

浩渺青史
2026-11-18 03:14:52
麦考利·卡尔金再演《小鬼当家》:这次他让麦当劳全员消失

麦考利·卡尔金再演《小鬼当家》:这次他让麦当劳全员消失

自愈小日子
2026-11-18 03:00:27
晨起喝温水是错的?医生苦劝:不想住进医院,晨起喝水牢记5点

晨起喝温水是错的?医生苦劝:不想住进医院,晨起喝水牢记5点

健康之光
2026-07-30 20:15:03
成都成华区一外卖员凌晨送餐在业主门口翻鞋柜、细看女鞋,已报警

成都成华区一外卖员凌晨送餐在业主门口翻鞋柜、细看女鞋,已报警

不写散文诗
2026-11-18 11:21:10
央视主持人天团亮相深圳,康辉咖位大,邹韵镇场,新主持人扛大旗

央视主持人天团亮相深圳,康辉咖位大,邹韵镇场,新主持人扛大旗

晓肂爱八卦
2026-11-17 20:47:39
远超2008年?多位专家预言2027年可能爆发金融危机,共有五大因素

远超2008年?多位专家预言2027年可能爆发金融危机,共有五大因素

磊子讲史
2026-10-28 16:22:52
海南一空姐被穷打工仔追求,婚后一个月,她才得知丈夫真实身份

海南一空姐被穷打工仔追求,婚后一个月,她才得知丈夫真实身份

小月文史
2024-11-19 21:11:58
萨穆埃尔告别阿根廷队:感谢大家的配合,这些年过得非常精彩

萨穆埃尔告别阿根廷队:感谢大家的配合,这些年过得非常精彩

懂球帝
2026-11-18 20:04:29
安徽一对夫妻杀人后潜逃20年,各自另组家庭,谁料,妻子成公司高管丈夫成大老板

安徽一对夫妻杀人后潜逃20年,各自另组家庭,谁料,妻子成公司高管丈夫成大老板

LULU生活家
2025-11-06 18:29:11
演员吴彦祖现身街头邀请路人一同吃饭遭拒绝,当事人回应:“我真的肠子都悔青了”

演员吴彦祖现身街头邀请路人一同吃饭遭拒绝,当事人回应:“我真的肠子都悔青了”

韩小娱
2026-11-16 11:58:27
德国清退数千架中国无人机,禁令管牌子不管零件

德国清退数千架中国无人机,禁令管牌子不管零件

反做空一线
2026-11-17 23:51:47
黄仁勋女儿怒斥高管,父亲辞职后她仍留英伟达

黄仁勋女儿怒斥高管,父亲辞职后她仍留英伟达

野生运营
2026-11-17 07:44:55
洪金宝长子洪天明自曝全家定居杭州生活!曾和周家蔚长期分居,多次提离婚

洪金宝长子洪天明自曝全家定居杭州生活!曾和周家蔚长期分居,多次提离婚

TVB剧评社
2026-11-18 16:39:30
博主吐槽PS5版《GTA6》性能堪称噩梦 还有延迟问题

博主吐槽PS5版《GTA6》性能堪称噩梦 还有延迟问题

游民星空
2026-11-18 23:28:03
炸锅,最近银行低风险理财都亏麻了!

炸锅,最近银行低风险理财都亏麻了!

樱桃大房子
2026-11-19 00:19:27
2026-11-19 02:23:00
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71709文章数 656270关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
亲子
数码
旅游
公开课

教育要闻

专家解读:读懂山东教育“十五五” | 未来五年 如何提升青少年学生语言文化素养?

亲子要闻

产后女性如何重回性生活质量?专家支招

数码要闻

微星RTX Spark迷你主机EdgeMesa N AI+上市,售价33999元起

旅游要闻

不止桐子坳!湖南5处银杏秘境上新,从千年古树到银杏王,带你邂逅秋日金色浪漫

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版