网易首页 > 网易号 > 正文 申请入驻

自动驾驶VLA中的语言起到什么作用?

0
分享至

本文首发于智驾最前沿微信公众号,随着端到端技术的发展,VLA模型在自动驾驶中有了一席之地。

VLA模型,即视觉-语言-动作模型,很多人在了解到这个模型时,都会很好奇,VLA中的语言到底有什么作用?其和我们熟知的座舱语音助手类似吗?

其实在VLA模型中,语言所扮演的角色远超出与人对话的范畴,它并不是服务于乘客的语音助手,而是自动驾驶系统自身的认知中枢。

在看见与行动之间,语言提供了至关重要的理解与推理能力。这种能力的加入,使自动驾驶从基于统计的条件反射,演进为基于认知的理解后决策。

01

从看见像素到理解场景

传统端到端自动驾驶模型能够精准地完成目标检测,却难以理解场景背后的深层含义,VLA中的语言模块则从根本上改变了这一点。

通过视觉编码器与语言编码器的深度融合,模型能够将视觉感知到的空间信息与语言蕴含的语义知识对齐。

例如,系统不仅能识别出前方有一个锥桶,更能结合施工标志和车道线变化等信息,推理出这是一个施工区域,我需要减速并准备绕行。



图片源自:网络

想要实现这种理解能力,关键在于多模态信息的融合。

语言编码器(如GPT类模型)可将自然语言指令或场景描述转换为高维语义向量,与视觉编码器提取的空间特征在统一的表示空间中进行交互。

正是这种融合,让VLA模型具备了处理长尾场景的能力。

像是狭窄居民区中可能从车缝突然出现的行人、无保护左转路口对向来车速度与让行关系的判断、施工区域的临时改道等场景,仅依靠从视觉输入到驾驶动作的直接映射,难以应对。

而语言模块所蕴含的互联网规模常识知识与因果推理能力,恰好补上了这一环。

02

语言如何驱动规划

语言对驾驶最深远的影响,其实体现在决策与规划环节。

VLA中的语言模块能够进行思维链推理,也就是像人类司机一样,在脑中进行一系列结构化的思考。

被NeurIPS 2025接收的AutoVLA模型,就将思维链推理与物理动作Token化相结合,通过统一的自回归生成过程直接生成规划轨迹。

该模型设计了快思考(仅输出轨迹)和慢思考(结合思维链推理)两种模式。

在复杂场景下(如施工区域、模糊路口),模型会启用慢思考模式,生成类似前方路口绿灯即将变黄,左侧有行人等待,因此我应减速准备停车的内部推理链,再基于此生成驾驶轨迹。



图片源自:网络

而在简单场景中则采用快思考模式以提升效率。

VLA模型中语言推理出的驾驶意图还可以直接参与并引导轨迹的生成。

香港中文大学MMLab、理想汽车和清华大学联合提出的MindVLA-U1模型,就通过Classifier-Free Guidance(CFG)机制让语言侧预测的驾驶意图直接参与连续轨迹生成。

实验数据显示,该模型在WOD-E2E自动驾驶benchmark上的验证集RFS(路线完成分数)达到8.20,而人类驾驶参考轨迹的RFS为8.13。

也就是说,模型在开放环评测中生成的轨迹质量首次超越了人类驾驶参考标准。

03

可解释性与人机信任的桥梁

自动驾驶的黑盒问题长期制约着公众信任与法规落地,语言模块的引入为解决这一问题提供了可行的技术路径。

VLA模型能够将内部的推理过程以自然语言的形式输出,生成决策的依据。

英伟达于2025年12月在NeurIPS大会上发布了开源VLA推理模型NVIDIA DRIVE Alpamayo-R1(AR1),并将其描述为全球首个工业级开源推理视觉语言动作自动驾驶模型。

该模型创新性地将思维链AI推理与路径规划技术深度融合。

在行人密集且紧邻自行车道的区域,搭载AR1的车辆可通过思维链进行推理,完成采集行驶路径数据,整合推理轨迹(即系统对采取特定操作的解释说明),继而规划后续行驶路线。



图片源自:网络

AR1基于NVIDIA Cosmos Reason构建,这种可解释的AI司机,对于安全验证与法规审查都具有重要的意义。

魏牌全新蓝山智能进阶版搭载的VLA大模型同样提供了CoT推理卡片功能,可以将辅助驾驶的推理过程实时呈现给用户,每次刹车、绕行的理由都清晰可见。

04

最后的话

语言的加入,本质上是在回答驾驶中最核心的那个问题,即车到底有没有真正理解它所处的环境和要应对的局面。

VLA被推向量产,意味着行业已经认可了这条路径。

接下来要讨论的已不再是VLA能不能用,而是怎么用得更聪明,也就是如何用有限的算力做出更关键的推理,让决策既可解释又可信,从能用走向好用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
波兰外长在联大捅破天!拿中国1971年说事,背后算计太阴险了!

波兰外长在联大捅破天!拿中国1971年说事,背后算计太阴险了!

近史博览
2026-10-03 14:46:56
40岁菲尔普斯现状曝光!退役后暴瘦到无人识,老婆长得很漂亮

40岁菲尔普斯现状曝光!退役后暴瘦到无人识,老婆长得很漂亮

小徐讲八卦
2026-03-23 14:19:30
6架战机刚到手就坏了4架,俄罗斯专家给出答案,中国一名士兵却不信

6架战机刚到手就坏了4架,俄罗斯专家给出答案,中国一名士兵却不信

扬子的故事屋
2026-10-02 09:24:20
马斯克坐不住了!中国一部普通手机,竟能正面硬刚星链?

马斯克坐不住了!中国一部普通手机,竟能正面硬刚星链?

棠棣分享
2026-10-04 05:49:36
我国为何放弃4万华人?央求哭诉仍不接受,只因30年前太不近人情!

我国为何放弃4万华人?央求哭诉仍不接受,只因30年前太不近人情!

狂热历史
2026-10-02 08:10:15
笑话:找鸡

笑话:找鸡

乡村中原风
2026-10-03 20:25:57
女知青生下儿子后返回城里,50年后,儿子到上海寻母亲当场泪崩

女知青生下儿子后返回城里,50年后,儿子到上海寻母亲当场泪崩

温情邮局
2025-05-28 14:45:51
内娱长腿天花板宋佳,穿着黑丝真漂亮

内娱长腿天花板宋佳,穿着黑丝真漂亮

娱你同欢
2026-10-01 20:50:34
街上越来越多女性不穿胸罩,高跟鞋几乎绝迹:这是身体的解放!

街上越来越多女性不穿胸罩,高跟鞋几乎绝迹:这是身体的解放!

另子维爱读史
2026-08-25 20:02:40
17所985惨遭淘汰!双非大学0上榜!冲上热搜

17所985惨遭淘汰!双非大学0上榜!冲上热搜

史海流年号
2026-10-01 10:24:10
19岁天皇独苗若生不出儿子,皇位将交给600年前分家的“陌生人”?

19岁天皇独苗若生不出儿子,皇位将交给600年前分家的“陌生人”?

纪史行者
2026-09-28 09:00:41
南京这所小学注销了……

南京这所小学注销了……

南京择校
2026-10-03 21:37:50
刘滨一米七几的个子,她个头高挑气质优雅,毛东东一米八几

刘滨一米七几的个子,她个头高挑气质优雅,毛东东一米八几

大江
2026-09-25 17:07:28
县城婆罗门好日子快到头了?转移支付一收紧,合乡并镇马上就来,可人家走了还能捞一笔,普通人连退路都没有!

县城婆罗门好日子快到头了?转移支付一收紧,合乡并镇马上就来,可人家走了还能捞一笔,普通人连退路都没有!

眼光很亮
2026-09-06 11:21:25
维尼修斯面对弱旅印度,无进球、无助攻,皇马球迷为维尼修斯状态忧心

维尼修斯面对弱旅印度,无进球、无助攻,皇马球迷为维尼修斯状态忧心

福酱的小时光
2026-10-04 09:05:02
刘国梁一句话点透!虽然孙颖莎没拿到女单冠军,但影响力却超冠军

刘国梁一句话点透!虽然孙颖莎没拿到女单冠军,但影响力却超冠军

奇怪的鲨鱼们
2026-10-04 05:48:58
大家有没有发现,翻垃圾桶捡废品的老人,近些年变得越来越多了

大家有没有发现,翻垃圾桶捡废品的老人,近些年变得越来越多了

小虎新车推荐员
2026-10-04 14:35:11
洪秀柱曾爆猛料,称若民进党胜选,很怀疑台湾地区领导人是美国人

洪秀柱曾爆猛料,称若民进党胜选,很怀疑台湾地区领导人是美国人

白色得季节
2026-09-28 19:29:12
什么是“喜丧”?有什么标准?传统上多少岁才算喜丧?

什么是“喜丧”?有什么标准?传统上多少岁才算喜丧?

大运河时空
2026-10-04 06:45:05
苹果新iPhone官宣:10月16日,开启预售!

苹果新iPhone官宣:10月16日,开启预售!

科技堡垒
2026-10-04 11:18:09
2026-10-04 16:08:49
智驾最前沿
智驾最前沿
自动驾驶领域专业的技术、资讯分享平台。我们的slogan是:聚焦智能驾驶 ,紧盯行业前沿。
599文章数 11关注度
往期回顾 全部

科技要闻

苹果确认:iPhone 18 Pro Max有问题

头条要闻

25岁女子在马来西亚遭安保闯入房间性侵未遂 后续来了

头条要闻

25岁女子在马来西亚遭安保闯入房间性侵未遂 后续来了

体育要闻

“小将”吴曦,中国的莫德里奇

娱乐要闻

杨议没料到,郭德纲如今仍是一呼百应

财经要闻

OpenAI前安全部门员工:公司文化已崩坏

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

本地
数码
家居
艺术
公开课

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

数码要闻

行业首款原生4K 120Hz激光电视极米AURA 3发售:850nits全屏稳定亮度,100英寸18999元

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

沙特要盖2000米高楼,一年维护费达8亿美元!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版