网易首页 > 网易号 > 正文 申请入驻

英伟达等重新设计VLA推理!机器人动作提速3.4倍

0
分享至



本文第一作者为纽约大学计算机科学博士生 Jack Lu,研究工作完成于他在英伟达实习期间。本文由英伟达资深研究科学家、Alpamayo 研究技术负责人 Yan Wang,以及英伟达自动驾驶研究负责人、斯坦福大学副教授 Marco Pavone 共同指导。

如今,许多视觉 - 语言 - 动作(VLA)模型会先推理、再行动。在输出动作之前,模型先写一段简短的文本,比如对场景的描述、一个计划,或者下一步要完成的子任务。这样做的机器人成功率更高,但速度也更慢。推理文本需要逐个 token 自回归地生成,动作必须等文本写完才能开始。在论文的实验中,写推理文本最多占到单次模型调用耗时的 70%。

来自英伟达、纽约大学、UC 伯克利、约翰斯・霍普金斯大学和斯坦福大学的研究团队仔细考察了推理的收益究竟从何而来。他们发现,动作并不需要读取当前这一步写出的推理,模型学会写推理就已经足够。团队据此提出了 TacitVLA。它和标准的推理 VLA 一样被训练去写推理,但它的动作从不等待这段文本。

在机器人操作和自动驾驶的四个 benchmark 上,TacitVLA 的成功率与显式推理相当,延迟最多降低 3.4 倍。在相同速度下,它比不加推理训练的同一模型成功率最多高 17 个百分点。在两个长程记忆 benchmark 上,TacitVLA 还刷新了已发表方法的最好成绩,在 RMBench 上提升 21 个百分点,在 RoboMME 的计数任务上提升 16 个百分点。

  • 论文标题:TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency
  • 论文链接:https://arxiv.org/abs/2610.17540
  • 项目主页:https://tacitvla.github.io/



推理文本的三种作用

在推理 VLA 中,生成的文本有三种作用。

训练时,它是监督目标。学习写出这段文本,会塑造 action expert 所依赖的 backbone。

在长程任务中,它还可以充当记忆。假设机器人需要按好几次按钮,摄像头拍不出已经按了几次,但一份记录已完成子任务的日志可以。

最后,在部署时,文本是 action expert 的输入。action expert 要读取当前这一步写出的文本,所以动作必须等待。TacitVLA 保留了前两种作用,去掉了第三种。

方法

近期的推理 VLA 大多采用同一种结构。视觉 - 语言 backbone 负责写推理,基于 flow matching 的 action expert 通过注意力读取 backbone 的信息并输出动作。在每个 benchmark 上,团队用这一结构在相同数据上训练三个策略。

在 Explicit Reasoning 中,action expert 会读取自己刚写出的推理,与 embodied chain-of-thought 的做法一致。TacitVLA 使用完全相同的训练序列、损失函数、prompt 和优化器,唯一的区别是 attention mask 里的一处改动,它让 action expert 看不到推理 token。No Reasoning 则是同一结构在不含推理文本的数据上训练得到的模型。



这样的设计把推理可能带来帮助的两条途径分开了。

一是学习写推理,可能训练出更好的 backbone。二是读取推理,可能为 action expert 提供有用的额外输入。Explicit Reasoning 同时具备这两种效果,No Reasoning 两者都没有。TacitVLA 只保留第一种,而第一种在部署时不花任何时间。

部署时,如果推理文本没有用处,TacitVLA 就直接跳过不写。在记忆任务上,每个新的子任务仍要写入日志,供后面的步骤使用。因此 TacitVLA 先算出动作,再在机器人执行这个动作的同时写日志。在两个记忆 benchmark 上,每一次调用中日志都在动作执行完之前写完,所以没有带来任何额外延迟。

实验结果

在全部四个 benchmark 上,TacitVLA 的成功率与 Explicit Reasoning 相当,并超过 No Reasoning,同时保持了 No Reasoning 的速度。



提升最大的是记忆 benchmark。在 RMBench 上,TacitVLA 在四个任务上的平均成功率为 77.5%,Explicit Reasoning 为 77.0%,此前已发表的最好结果为 56.5%。它相对 No Reasoning(60.4%)的提升大部分来自 Press Button 任务,在这个任务里,按了几次只记录在日志中。在该任务上,No Reasoning 的成功率为 7.7%,TacitVLA 为 74.3%。

在 RoboMME 上,用全部 16 个任务训练时,TacitVLA 的总体成功率为 48.1%,此前最好结果为 44.5%。在计数任务上,它达到 82.7%,此前最好为 66.8%。只用计数任务训练时,它达到 89.5%,高于该 benchmark 给出的人类参考成绩 88.5%。在人类参考的设定中,人只负责选择高层步骤,具体动作由 oracle planner 执行,而 TacitVLA 的每一个动作都由自己完成。



推理在不需要记忆的任务上同样有帮助。LIBERO-Plus 以零样本方式测试七类扰动。在这个 benchmark 上,两个推理策略取得了仅用 LIBERO 训练的已发表策略中的最高分,Explicit Reasoning 为 73.5%,TacitVLA 为 72.9%,No Reasoning 为 67.6%。

在标准 LIBERO 上,TacitVLA 达到 98.6%,与已发表的最好结果持平。在公开的 AlpaSim 挑战赛场景上进行闭环驾驶测试时,TacitVLA 的场景得分为 52.5%,Explicit Reasoning 为 52.3%,No Reasoning 为 46.4%。这一成绩与 Alpamayo-R1 只差 2.5 分。Alpamayo-R1 是一个使用四个摄像头的 10B 模型,而 TacitVLA 的参数量不到它的一半,摄像头也只用了一半。



在单张 H100 GPU 上,TacitVLA 在 LIBERO 上输出一个动作需要 147 ms,Explicit Reasoning 需要 495 ms,是前者的 3.4 倍。在自动驾驶中,两者分别为 127 ms 和 269 ms。在记忆任务上,Explicit Reasoning 慢 1.4 到 1.7 倍。TacitVLA 则在执行期间写日志,最多只占用执行时间的 23%。



总结

实验覆盖了机器人操作和自动驾驶,也覆盖了需要记忆和不需要记忆的任务。在这些设定中,推理的收益都通过在推理文本上的训练传递给动作。在记忆任务上,收益还通过此前写下的日志传递。读取当前这一步的推理只会让策略变慢,并不会让它更成功。

TacitVLA 不需要额外的模型,也不需要调度器。任何采用这种结构的推理 VLA,只要在训练时用 attention mask 让 action expert 看不到推理 token,就能变成 TacitVLA。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湘雅二院“虾滑论文”火了:湖南写成人类,一厘米刻12毫米,还拿了五项基金!

湘雅二院“虾滑论文”火了:湖南写成人类,一厘米刻12毫米,还拿了五项基金!

迷世书童
2026-11-18 00:05:12
陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

露珠聊影视
2026-11-18 14:36:57
克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

小怪吃美食
2026-11-18 05:36:39
告诉大家一个很玄学的事,家里谁做饭,就决定了这家的福气

告诉大家一个很玄学的事,家里谁做饭,就决定了这家的福气

麓谷隐士
2026-11-18 00:05:08
刚刚!苹果新品突然上架,真的心动啊

刚刚!苹果新品突然上架,真的心动啊

科技堡垒
2026-11-18 08:00:35
波切蒂诺第一刀!曼联 3650 万水货直接弃用!冬窗或被清洗

波切蒂诺第一刀!曼联 3650 万水货直接弃用!冬窗或被清洗

澜归序
2026-11-18 09:41:57
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
普京点赞深圳:最现代化、最具活力的大都市

普京点赞深圳:最现代化、最具活力的大都市

新华社
2026-11-18 12:45:26
特朗普启程前往深圳,登机前对着镜头做出标志性挥拳动作

特朗普启程前往深圳,登机前对着镜头做出标志性挥拳动作

极目新闻
2026-11-18 15:16:32
105-93!活塞终结马刺12连胜,坎宁安27分,文班空砍25+18

105-93!活塞终结马刺12连胜,坎宁安27分,文班空砍25+18

全景体育V
2026-11-18 11:37:58
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
补钾就是保命,立冬后多吃这8种,腿脚有劲,心脏也少受累高钾菜

补钾就是保命,立冬后多吃这8种,腿脚有劲,心脏也少受累高钾菜

美食店主
2026-11-17 00:26:14
三天票房247元,仅6人观影,三大实力派助力没用,本周最惨电影诞生

三天票房247元,仅6人观影,三大实力派助力没用,本周最惨电影诞生

影视高原说
2026-11-18 14:43:37
中足联重罚中青赛冲突:罚浙江5万申花3万赛区10万

中足联重罚中青赛冲突:罚浙江5万申花3万赛区10万

体坛周报
2026-11-18 09:41:21
湖南一女子3岁走失,40岁成为千万富豪后,登上电视寻亲。不料,亲生父母无人到场,得知内情她崩溃大哭

湖南一女子3岁走失,40岁成为千万富豪后,登上电视寻亲。不料,亲生父母无人到场,得知内情她崩溃大哭

扶苏聊历史
2026-11-18 14:57:07
新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社
2026-11-18 15:44:19
台上卖力地表演,台下的看客不买账了!

台上卖力地表演,台下的看客不买账了!

胖胖说他不胖
2026-11-17 11:50:11
南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

收藏大视界
2026-11-17 23:09:32
福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

新京报政事儿
2026-11-18 10:12:02
湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

Emily说个球
2026-11-18 15:08:35
2026-11-18 18:15:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
旅游
时尚
教育
公开课

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版