网易首页 > 网易号 > 正文 申请入驻

VLA统一架构新突破:自回归世界模型引领具身智能

0
分享至

本文来自:王宇琪,中国科学院自动化所博士,研究方向为世界模型,自动驾驶感知与决策等,在 CVPR、NeurIPS、ICCV、ECCV、ICLR 等顶级会议上发表过多篇论文。

王鑫龙团队,北京智源研究院,研究方向为原生多模态大模型,Emu 系列工作核心负责人。

张兆翔团队,中国科学院自动化研究所,研究方向涵盖世界模型、视觉生成与重建、自动驾驶、具身智能等。

从 Sora 到Genie2,从语言驱动的视频生成到世界的交互模拟,世界模型正加速成为连接感知、理解与决策的关键基座。随着视觉 - 语言 - 动作(VLA)模型在具身智能领域的快速发展,多模态之间的边界正被重塑。

然而,现有方法多以语言模态为中心,往往忽视了视觉信息蕴含的丰富时序动态与因果结构。

为此,北京智源研究院联合中国科学院自动化研究所提出UniVLA—— 一种全新的 VLA 模型架构,基于全离散、自回归机制,原生建模视觉、语言与动作信号,并在后训练阶段引入世界模型建模,从大规模视频中学习时序信息与因果逻辑,有效增强了模型在下游决策任务的性能和学习效率。

UniVLA 在 CALVIN、LIBERO、SimplerEnv 等主流具身智能基准上全面刷新多项 SOTA 纪录,并展现出在真机操控和自动驾驶等现实场景中的广泛潜力。

  • 论文标题:Unified Vision-Language-Action Model
  • 网站链接:https://robertwyq.github.io/univla.github.io/
  • 论文链接:https://arxiv.org/abs/2506.19850
  • 代码链接:https://github.com/baaivision/UniVLA

统一视觉 - 语言 - 动作的

全离散自回归模型

该框架将视觉、语言与动作信号统一转化为离散 token,并构建视觉 - 动作交错的多模态时序序列,实现原生统一建模。在训练范式上,采用自回归方式进行学习,不仅高效稳定,更具大规模扩展的潜力。

得益于这种时序化的多模态表示,模型天然支持多种任务的统一训练,包括视觉理解、文生视频、动作预测等,具备良好的通用性与数据扩展能力。

统一的视觉-语言-动作模型架构

世界模型助力下游决策

在这套统一框架下,世界模型的后训练显著提升了下游决策性能,且无需依赖大量动作数据,仅凭海量视频即可高效学习。

对比语言生成图像的训练范式,时序动态信息被证明至关重要;而与纯视频建模相比,多模态语义对齐同样不可或缺。这为机器人从大规模视频中学习真实世界知识打开了新路径,展现出世界模型在多模态感知与决策融合中的巨大潜力。

刷新多项仿真基准纪录

该方法在当前主流的具身仿真基准上 —— 包括 CALVIN、LIBERO 和 SimplerEnv—— 均展现出强劲的性能优势,全面刷新多项任务纪录。

CALVIN 的长程任务评测

LIBERO 的泛化评测

SimplerEnv 的泛化测试

解锁更广应用:

真机双臂操控与端到端驾驶

双臂协作倒水

探索新的VLA技术路径

未来展望

相比于基于视觉语言模型(VLM)拓展而来的 VLA 框架,本文提出了一条全新的技术路线,展现出更大的潜力与探索空间。

一方面,我们构建了一个视频版本的 VLA 架构,使模型能够有效捕捉视频中的时空动态特征,并在推理过程中更充分地利用历史信息;同时,即便缺乏动作标签,模型仅通过大规模视频数据的训练,依然在下游任务中表现出显著优势。

另一方面,我们引入全离散的自回归训练范式,显著提升了训练效率,并为大规模数据下的模型扩展性提供了坚实基础。未来,我们将进一步探索该框架与多模态强化学习的深度融合,推动其在开放世界中的感知、理解与决策能力持续演进。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
全面下跌,何时见底?

全面下跌,何时见底?

星图金融研究院
2026-11-20 15:37:21
美国若在G20峰会期间举行第二次三国元首会晤中方将如何回应?外交部回应

美国若在G20峰会期间举行第二次三国元首会晤中方将如何回应?外交部回应

澎湃新闻
2026-11-20 17:06:06
高市见了普京

高市见了普京

周边问题研究所
2026-11-20 13:12:01
IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

游民星空
2026-11-20 12:11:29
王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

王刚红点套餐!门线故意手球,VAR介入改判,国安全队暴怒

奥拜尔
2026-11-20 20:13:09
华泰证券:中国股市的估值已经具备非常明显的吸引力

华泰证券:中国股市的估值已经具备非常明显的吸引力

澎湃新闻
2026-11-20 15:09:41
欧国联淘汰赛抽签:西班牙VS法国!世界杯半决赛重演 葡萄牙战荷兰

欧国联淘汰赛抽签:西班牙VS法国!世界杯半决赛重演 葡萄牙战荷兰

念洲
2026-11-20 19:32:12
APCE上的温情一幕,让人好感动!

APCE上的温情一幕,让人好感动!

低调看天下
2026-11-20 15:46:04
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
武磊里程碑!海港生涯第200球,破足协杯两年球荒,对国安已入9球

武磊里程碑!海港生涯第200球,破足协杯两年球荒,对国安已入9球

奥拜尔
2026-11-20 20:14:15
邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

扬子晚报
2026-11-20 15:04:57
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

懂球帝
2026-11-20 20:36:29
突发!黄仁勋再曝新消息,该来的还是来了!

突发!黄仁勋再曝新消息,该来的还是来了!

财经要参
2026-11-20 16:00:05
全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

全完了!黄仁勋多项“恶行”被美国媒体曝光,多名英伟达高管大爆黑料

可达鸭面面观
2026-11-19 21:51:59
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
财政部:1-10月证券交易印花税收入2511亿元,同比增长54.1%

财政部:1-10月证券交易印花税收入2511亿元,同比增长54.1%

界面新闻
2026-11-20 16:52:36
回国了我才敢说:日本,是我去过的所有国家中,最被看轻的

回国了我才敢说:日本,是我去过的所有国家中,最被看轻的

瓦伦西亚月亮
2026-11-20 09:39:07
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
2026-11-20 21:23:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14523文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
家居
时尚
游戏
数码

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

家居要闻

2026建博会(广州) 公装联探展交流活动

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

PC Gamer试玩GTA6百小时:双主角出色但任务重复

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

无障碍浏览 进入关怀版