网易首页 > 网易号 > 正文 申请入驻

英伟达等重新设计VLA推理!机器人动作提速3.4倍

0
分享至

来源:市场资讯

(来源:机器之心)

本文第一作者为纽约大学计算机科学博士生 Jack Lu,研究工作完成于他在英伟达实习期间。本文由英伟达资深研究科学家、Alpamayo 研究技术负责人 Yan Wang,以及英伟达自动驾驶研究负责人、斯坦福大学副教授 Marco Pavone 共同指导。

如今,许多视觉 - 语言 - 动作(VLA)模型会先推理、再行动。在输出动作之前,模型先写一段简短的文本,比如对场景的描述、一个计划,或者下一步要完成的子任务。这样做的机器人成功率更高,但速度也更慢。推理文本需要逐个 token 自回归地生成,动作必须等文本写完才能开始。在论文的实验中,写推理文本最多占到单次模型调用耗时的 70%。

来自英伟达、纽约大学、UC 伯克利、约翰斯・霍普金斯大学和斯坦福大学的研究团队仔细考察了推理的收益究竟从何而来。他们发现,动作并不需要读取当前这一步写出的推理,模型学会写推理就已经足够。团队据此提出了 TacitVLA。它和标准的推理 VLA 一样被训练去写推理,但它的动作从不等待这段文本。

在机器人操作和自动驾驶的四个 benchmark 上,TacitVLA 的成功率与显式推理相当,延迟最多降低 3.4 倍。在相同速度下,它比不加推理训练的同一模型成功率最多高 17 个百分点。在两个长程记忆 benchmark 上,TacitVLA 还刷新了已发表方法的最好成绩,在 RMBench 上提升 21 个百分点,在 RoboMME 的计数任务上提升 16 个百分点。

  • 论文标题:TacitVLA: Reasoning Vision-Language-Action Models Without Reasoning Latency

  • 论文链接:https://arxiv.org/abs/2610.17540

  • 项目主页:https://tacitvla.github.io/


推理文本的三种作用

在推理 VLA 中,生成的文本有三种作用。

训练时,它是监督目标。学习写出这段文本,会塑造 action expert 所依赖的 backbone。

在长程任务中,它还可以充当记忆。假设机器人需要按好几次按钮,摄像头拍不出已经按了几次,但一份记录已完成子任务的日志可以。

最后,在部署时,文本是 action expert 的输入。action expert 要读取当前这一步写出的文本,所以动作必须等待。TacitVLA 保留了前两种作用,去掉了第三种。

方法

近期的推理 VLA 大多采用同一种结构。视觉 - 语言 backbone 负责写推理,基于 flow matching 的 action expert 通过注意力读取 backbone 的信息并输出动作。在每个 benchmark 上,团队用这一结构在相同数据上训练三个策略。

在 Explicit Reasoning 中,action expert 会读取自己刚写出的推理,与 embodied chain-of-thought 的做法一致。TacitVLA 使用完全相同的训练序列、损失函数、prompt 和优化器,唯一的区别是 attention mask 里的一处改动,它让 action expert 看不到推理 token。No Reasoning 则是同一结构在不含推理文本的数据上训练得到的模型。


这样的设计把推理可能带来帮助的两条途径分开了。

一是学习写推理,可能训练出更好的 backbone。二是读取推理,可能为 action expert 提供有用的额外输入。Explicit Reasoning 同时具备这两种效果,No Reasoning 两者都没有。TacitVLA 只保留第一种,而第一种在部署时不花任何时间。

部署时,如果推理文本没有用处,TacitVLA 就直接跳过不写。在记忆任务上,每个新的子任务仍要写入日志,供后面的步骤使用。因此 TacitVLA 先算出动作,再在机器人执行这个动作的同时写日志。在两个记忆 benchmark 上,每一次调用中日志都在动作执行完之前写完,所以没有带来任何额外延迟。

实验结果

在全部四个 benchmark 上,TacitVLA 的成功率与 Explicit Reasoning 相当,并超过 No Reasoning,同时保持了 No Reasoning 的速度。


提升最大的是记忆 benchmark。在 RMBench 上,TacitVLA 在四个任务上的平均成功率为 77.5%,Explicit Reasoning 为 77.0%,此前已发表的最好结果为 56.5%。它相对 No Reasoning(60.4%)的提升大部分来自 Press Button 任务,在这个任务里,按了几次只记录在日志中。在该任务上,No Reasoning 的成功率为 7.7%,TacitVLA 为 74.3%。

在 RoboMME 上,用全部 16 个任务训练时,TacitVLA 的总体成功率为 48.1%,此前最好结果为 44.5%。在计数任务上,它达到 82.7%,此前最好为 66.8%。只用计数任务训练时,它达到 89.5%,高于该 benchmark 给出的人类参考成绩 88.5%。在人类参考的设定中,人只负责选择高层步骤,具体动作由 oracle planner 执行,而 TacitVLA 的每一个动作都由自己完成。


推理在不需要记忆的任务上同样有帮助。LIBERO-Plus 以零样本方式测试七类扰动。在这个 benchmark 上,两个推理策略取得了仅用 LIBERO 训练的已发表策略中的最高分,Explicit Reasoning 为 73.5%,TacitVLA 为 72.9%,No Reasoning 为 67.6%。

在标准 LIBERO 上,TacitVLA 达到 98.6%,与已发表的最好结果持平。在公开的 AlpaSim 挑战赛场景上进行闭环驾驶测试时,TacitVLA 的场景得分为 52.5%,Explicit Reasoning 为 52.3%,No Reasoning 为 46.4%。这一成绩与 Alpamayo-R1 只差 2.5 分。Alpamayo-R1 是一个使用四个摄像头的 10B 模型,而 TacitVLA 的参数量不到它的一半,摄像头也只用了一半。


在单张 H100 GPU 上,TacitVLA 在 LIBERO 上输出一个动作需要 147 ms,Explicit Reasoning 需要 495 ms,是前者的 3.4 倍。在自动驾驶中,两者分别为 127 ms 和 269 ms。在记忆任务上,Explicit Reasoning 慢 1.4 到 1.7 倍。TacitVLA 则在执行期间写日志,最多只占用执行时间的 23%。


总结

实验覆盖了机器人操作和自动驾驶,也覆盖了需要记忆和不需要记忆的任务。在这些设定中,推理的收益都通过在推理文本上的训练传递给动作。在记忆任务上,收益还通过此前写下的日志传递。读取当前这一步的推理只会让策略变慢,并不会让它更成功。

TacitVLA 不需要额外的模型,也不需要调度器。任何采用这种结构的推理 VLA,只要在训练时用 attention mask 让 action expert 看不到推理 token,就能变成 TacitVLA。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
AMD 遭做空!市值蒸发 1167 亿美元

AMD 遭做空!市值蒸发 1167 亿美元

云头条
2026-11-21 00:40:25
张杰、丛克、米永生、孙国强接受纪律审查和监察调查

张杰、丛克、米永生、孙国强接受纪律审查和监察调查

豫府号
2026-11-21 00:48:01
亚马逊执行董事长贝索斯:如果不让黄仁勋回英伟达,不要聘用外人

亚马逊执行董事长贝索斯:如果不让黄仁勋回英伟达,不要聘用外人

一路荒凉如歌a
2026-11-20 13:07:08
男篮世预赛终极大名单出炉!郭士强的天塌了:第一后卫落选?

男篮世预赛终极大名单出炉!郭士强的天塌了:第一后卫落选?

篮球快餐车
2026-11-20 07:06:12
剖析项英牺牲真相:为何多次拒绝毛泽东北上命令?因自己两个私心

剖析项英牺牲真相:为何多次拒绝毛泽东北上命令?因自己两个私心

阿胡
2025-04-20 11:05:46
大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

华人星光
2026-11-19 13:45:11
没想到,APEC峰会开始仅1天,马斯克小儿子因一举动,再次火出圈

没想到,APEC峰会开始仅1天,马斯克小儿子因一举动,再次火出圈

黄色的泥土
2026-11-20 09:11:06
U17国足5球惨败!媒体人热议:差距明摆着,别再瞎吵吵了

U17国足5球惨败!媒体人热议:差距明摆着,别再瞎吵吵了

奥拜尔
2026-11-21 00:01:18
肠子悔青!皇马致命失误!离谱操作坑惨穆里尼奥

肠子悔青!皇马致命失误!离谱操作坑惨穆里尼奥

澜归序
2026-11-20 09:52:09
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
当年敢狮子大开口跟胖东来要 2400 万年租,现在灰溜溜降到 400 万,为啥没人敢接?

当年敢狮子大开口跟胖东来要 2400 万年租,现在灰溜溜降到 400 万,为啥没人敢接?

唠叨说历史
2026-11-20 17:16:47
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
广东一小伙借300万养怪鸟,3年没挣到一毛钱,第四年挣了6000万

广东一小伙借300万养怪鸟,3年没挣到一毛钱,第四年挣了6000万

天气观察站
2026-11-20 16:20:36
U17国足0-5完败西班牙!亚洲球队输最惨了,附下场比赛时间+对手

U17国足0-5完败西班牙!亚洲球队输最惨了,附下场比赛时间+对手

侃球熊弟
2026-11-20 22:45:46
普京“和平”叙事与大桥硝烟:一场关于战争起源与终局的各说各话

普京“和平”叙事与大桥硝烟:一场关于战争起源与终局的各说各话

民间胡扯老哥
2026-11-20 08:06:02
A股:今天跌破3540了,做好准备,下周一,11月23号,股市可能这样走

A股:今天跌破3540了,做好准备,下周一,11月23号,股市可能这样走

明心
2026-11-20 15:10:00
深圳APEC峰会,美国到场了,俄罗斯到场了,东道主还是中国,可唯独以亚洲大国自居的印度未获正式成员资格!

深圳APEC峰会,美国到场了,俄罗斯到场了,东道主还是中国,可唯独以亚洲大国自居的印度未获正式成员资格!

扶苏聊历史
2026-11-20 14:47:33
腾讯首度回应美国AI新规影响:训练算力受限,模型研发被拖慢

腾讯首度回应美国AI新规影响:训练算力受限,模型研发被拖慢

芯智讯
2026-11-19 11:59:01
一网店挂出1分钱的睡衣引200万人下单,许多人质疑商家动机,称“薅羊毛薅得心慌”,平台客服:已取消异常订单并退款

一网店挂出1分钱的睡衣引200万人下单,许多人质疑商家动机,称“薅羊毛薅得心慌”,平台客服:已取消异常订单并退款

极目新闻
2026-11-20 11:43:19
开门一天亏15万,关门却要先花5000万,最窝囊的生意出现了?

开门一天亏15万,关门却要先花5000万,最窝囊的生意出现了?

铜臭的历史味
2026-11-06 00:26:34
2026-11-21 02:55:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5571730文章数 10044关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
艺术
房产
教育
手机

数码要闻

英特尔公布D270加速器成绩单 部分专业计算性能最高领先英伟达近六倍

艺术要闻

他把时光刻成纹理,把幻想拍成现实:墨西哥天才摄影师的画面,看完像做了一场醒不来的梦

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

南京中考两大变化:面向全市招生的普高从9所增至13所,2027年中考报名时间定了!

手机要闻

vivo春节前两张牌:iQOO 16R量产换芯,S70把增距镜带到中端

无障碍浏览 进入关怀版