网易首页 > 网易号 > 正文 申请入驻

HiF-VLA:以motion为中心打造「边想边做」的世界动作模型

0
分享至



本文第一作者为西湖大学科研助理蔺明慧,通讯作者为阿里巴巴达摩院算法专家黄思腾和西湖大学人工智能系副主任王东林。所有作者均来自西湖大学机器智能实验室(MiLAB)和西湖机器人科技有限公司,团队工作 ReconVLA 近期获得 AAAI 2026 最佳论文奖。

具身智能要想真正在复杂场景中落地,离不开对长程任务(Long-horizon tasks)的稳定执行。然而,现有的 VLA(视觉-语言-动作)模型大多停留在「动作模仿」阶段,缺乏对物理世界动态变换的深刻理解,在长线操作中极易陷入因果混淆;同时,传统通过直接堆叠多帧图像来引入时间维度的方法,不仅容易引入大量静态背景冗余,更会带来灾难性的推理延迟与显存溢出。



为解决上述挑战,来自西湖大学、浙江大学、西湖机器人等机构的研究团队提出了一种以运动(Motion)为中心的全新双向时空推理框架 HiF-VLA。抛弃冗余的像素级输入,HiF-VLA 巧妙提取低维紧凑的 Motion 向量作为动态先验,在一个创新的「联合专家」模块中,同步完成未来视觉运动的预测与高精度动作序列的生成。

相比传统的时空建模范式,HiF-VLA 彻底摒弃了无用的视觉背景干扰,不仅在极长的历史观测窗口下依然保持了恒定、极低的推理延迟,更赋予了机器人真正「边想边做」的物理直觉。在 CALVIN 与 LIBERO-LONG 等长程任务评测中,其成功率显著超越现有 SOTA 方法,为构建真正理解世界运行规律的 WAM(世界动作模型)开辟了全新路径。

目前,该工作已被 CVPR 2026 接收,代码已开源。

  • 论文地址:HiF-VLA: Hindsight, Insight and Foresight through Motion Representation for Vision-Language-Action Models
  • 论文链接:
  • https://arxiv.org/abs/2512.09928
  • 项目主页:
  • https://hifvla.github.io/
  • 代码:
  • https://github.com/OpenHelix-Team/HiF-VLA

01 研究动机:

从「动作模仿」到「理解物理世界」



当前主流的 VLA(视觉-语言-动作)模型,本质上大多是高级的「动作模仿」。它们接收当前的图像观测,直接映射出对应的动作。

这种范式在短视距任务中尚可应付,但在执行长程任务时却屡屡翻车。为什么?因为模型缺乏对物理世界「动态变化」的理解。它们不知道自己刚才做了什么,也无法预判当前动作会对环境产生怎样的影响,从而极易陷入因果混淆。

要打破这种「短视」魔咒,模型必须从单纯的「动作模仿」走向「物理理解」。这就要求我们引入World Action Model (WAM)的概念——智能体不仅要会「做」,还要能在脑海中「想」(推演环境的变化)。

如何赋予机器人「边想边做」的时空推理能力?最直观的想法是把过去帧和未来帧的图像全部塞进大模型里。但现实是骨感的:图像级别的时空建模不仅会导致算力爆炸,还会引入大量的静态背景冗余,使得关键的物理变化被淹没。HiF-VLA 团队找到了一个高效的切入点:运动(Motion)。

02 核心方案:

HiF-VLA 的「三位一体」时空推理


相比于冗余的像素,Motion 是捕捉物理世界动态演变最纯粹、最高效、最本质的表征。以 Motion 为中心,HiF-VLA 构建了一个名为Hindsight-Insight-Foresight (HiF)的双向时空推理框架。

1. Hindsight(后见之明):打破马尔可夫假设的「记忆锚点」

智能体必须拥有连贯的自我意识。HiF-VLA 将机器人过去的历史帧通过视频编解码器(H.264、MPEG-4 等)提取为低维且紧凑的 Motion 动态先验。这就像给机器人植入了一个记忆中枢,它不需要回看过去的录像,就能精确感知到「环境刚刚经历了怎样的运动变化」。这个历史上下文,是后续一切推理的基石。

2. Insight(洞察现在)和 Foresight(先见之明):走向 WAM 的「全知视角」

真正的智能,既需要扎根当下,更需要预判未来。在 HiF-VLA 框架中,这两个能力被完美解耦又紧密交织,共同构成了迈向 WAM(世界动作模型)的核心:

  • Insight(洞察现在):负责深度解析当前的语言指令和实时视觉观测,让机器人感知「我此时此刻面临的是什么环境,需要完成什么具体目标」。

  • Foresight(预见未来):基于当下的 Insight,HiF-VLA 在输出动作的同时,会初步地预测未来的运动趋势。这相当于在模型内部嵌入了一个虚拟物理模拟器,让机器人能够提前推演自身的行为后果。

3. 深度对齐:视觉与动作的协同预测

这是 HiF-VLA 最为核心、也最出彩的创新——历史调制的联合专家(Hindsight-modulated joint expert)。如果说 Hindsight 和 Foresight 拉长了时间轴,那么联合专家模块则改变了模型的生成目标。HiF-VLA 认为,视觉与动作的割裂是阻碍模型理解物理规律的绊脚石,因此设计的联合专家模块绝不是简单地将视觉特征和语言指令拼接,而是执行了一个双目标协同的策略:

  • 视觉 Motion 预测 + 动作序列生成:联合专家在历史信息(Hindsight)的动态调制下,被强制要求同时输出对未来视觉 Motion 的预测以及高精度的执行动作序列。

  • 为什么这很重要?这种双目标的联合对齐,逼迫模型不能只死记硬背动作,而是必须去理解「我输出这个动作后,物理世界的视觉表征会发生怎样的动态变换」。

通过将「预测未来视觉变化(想)」与「规划动作序列(做)」深度绑定,HiF-VLA 实现了真正的Think-while-acting(边想边做)。它不再是盲目地模仿专家轨迹,而是产生了真实的「物理直觉」。

03 实验结果


Q1:HiF-VLA 与 SOTA 的 VLA 模型相比较如何?

HiF-VLA 在多样化的短程和长程任务中展现出了强大的能力。





团队尤其关注 HiF-VLA 在长程任务上的表现。在 LIBERO-LONG 任务套件以及 CALVIN ABC-D 长程任务评测中,HiF-VLA 的表现显著优于诸多 SOTA 方法。同时,在真实世界的长程任务测试中,HiF-VLA 也展现出更加稳定且优越的任务完成性能(更多详细指标请参阅原论文)。

Q2:HiF-VLA 是否有效地缓解了传统方法中的视觉冗余和低效问题?



❌ 传统做法的困境:当简单粗暴地将历史多帧图像塞给模型时,显存瞬间爆炸。峰值 GPU 显存直接翻倍飙升至 63.6 GB(涨幅 2.06 倍),推理延迟更是暴增到 229.5 ms(高达 3.15 倍)。更令人窒息的是,由于引入了海量冗余的静态背景噪声,模型反而被干扰了视线,平均成功率(Avg. SR)不升反降。

✅ HiF-VLA 的解决方案:HiF-VLA 巧妙地将历史帧编码为低维、结构化的运动向量。引入 Hindsight 模块后,模型面对同样长度的历史窗口,峰值显存仅仅维持在 31.4 GB,相较于 Baseline 几乎做到了「零负担」(仅增加极微小的 1.02 倍开销)。同时,推理延迟(117.7 ms)也远低于传统堆叠方法。最重要的是,在剔除了视觉冗余后,它让模型能专注理解物理运动,成功将平均成功率大幅提升。

Q3:随着时间跨度的增加,HiF-VLA 在推理时的可扩展性如何?



拒绝指数级成本增长,打破长序列计算瓶颈。

从推理效率对比图可以直观看出,随着历史时间跨度的增加,传统堆叠图像帧的方法会遭遇指数级的计算延迟暴涨甚至显存溢出(OOM)。而 HiF-VLA 凭借提取低维紧凑的 Motion 特征,彻底打破了长序列推理的计算瓶颈,随着历史观测窗口变长,都始终保持稳定且极低的推理延迟,展现出了在处理长程动态变换时强大的时间可扩展性。

Q4:HiF-VLA 所谓的「边想边做」究竟是怎样的过程?



眼见为实:motion 预测与 action 执行的时空高度吻合。

从可视化结果中可以看到,HiF-VLA 在执行动作的同一时刻,其内部联合专家模块已经精准预测出了由红色箭头标识的未来视觉运动场。这有力地证明了模型并非在盲目背诵指令,而是真正实现了「边想边做」。它能清晰地预判自身动作将引发环境中怎样的物理动态变换,从而在复杂任务中展现出精准的「物理直觉」。

04 总结


从机械的「动作模仿」进化为理解物理规律的「世界动作模型(WAM)」,HiF-VLA 迈出了至关重要的一步。它证明了机器人的动作不应只是对指令的盲目响应,而应当是在对过去的洞察与对未来的预判交织下,自然而然的物理反馈。对于具身智能走向更复杂、更真实的物理世界,HiF-VLA 无疑提供了一个极具潜力和启发性的全新范式。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马斯克到底多喜欢小儿子!又又又带他来中国玩了

马斯克到底多喜欢小儿子!又又又带他来中国玩了

可达鸭面面观
2026-11-19 18:04:43
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
太震撼!俄罗斯记者到深圳先换人民币准备消费,几天下来一分没花,直呼中国“太先进了”

太震撼!俄罗斯记者到深圳先换人民币准备消费,几天下来一分没花,直呼中国“太先进了”

秋风妃
2026-11-19 19:41:34
巴萨再出梅西式天才?12岁童星52场狂轰145球 耐克1年前就已签下他

巴萨再出梅西式天才?12岁童星52场狂轰145球 耐克1年前就已签下他

风过乡
2026-11-20 08:54:48
多所高校停供部分研究生宿舍,有校外主卧月租近4000元

多所高校停供部分研究生宿舍,有校外主卧月租近4000元

21世纪经济报道
2026-11-19 19:35:40
杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

军迷战情室
2026-11-19 21:31:42
高市深圳参会,日本网友的留言亮了!

高市深圳参会,日本网友的留言亮了!

仕道
2026-11-19 17:13:11
湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

黄河新闻网吕梁
2026-11-19 17:55:11
2004年,日本,43岁高市早苗的婚礼时刻

2004年,日本,43岁高市早苗的婚礼时刻

娱你同欢
2026-11-19 21:51:16
文班亚马32分11板马刺轻取快船,卡斯尔21+6+12加兰23分5助

文班亚马32分11板马刺轻取快船,卡斯尔21+6+12加兰23分5助

湖人崛起
2026-11-20 11:31:13
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
“抢公章”!黄仁勋动手了

“抢公章”!黄仁勋动手了

华商韬略毕亚军
2026-11-19 10:07:29
“74岁老人拆墙让路被质疑”,真相大白!网络“吃瓜”的底线在哪里?

“74岁老人拆墙让路被质疑”,真相大白!网络“吃瓜”的底线在哪里?

新民周刊
2026-11-19 21:09:03
普京:克里米亚大桥遭袭后 不再讨论海上停火

普京:克里米亚大桥遭袭后 不再讨论海上停火

新华社
2026-11-20 03:13:04
特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

歪歌社团
2026-11-20 07:01:47
不可思议!异地相亲奔现第一天,男生要求女生同住遭拒后提分手,直言“奔现一次花费近两千,不划算”

不可思议!异地相亲奔现第一天,男生要求女生同住遭拒后提分手,直言“奔现一次花费近两千,不划算”

火山詩话
2026-11-18 07:46:48
APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

快科技
2026-11-20 09:51:06
一代人有一代人的QQ

一代人有一代人的QQ

砺石商业评论
2026-11-20 10:11:55
沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

沙特首都第一高楼遭袭:炮弹从天而降,金融区上空亮起火光,多个楼层和周边建筑受损,所有入口封闭、人员疏散

极目新闻
2026-11-20 10:43:41
2026-11-20 12:00:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14517文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

房产
数码
旅游
游戏
军事航空

房产要闻

2.5亿!丁村侨中,新动作来了!

数码要闻

技嘉扩展“雕妹”IP,携手伙伴推出AORUS ARI联名内存、机箱

旅游要闻

“赏秋+研学”、优惠礼包,淡季跑出“小旺季”!多地文旅市场解锁秋假新玩法

美国多地警方担心GTA6引导犯罪:游戏里玩玩得了!

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版