本文首发于智驾最前沿微信公众号,随着端到端技术的发展,VLA模型在自动驾驶中有了一席之地。
VLA模型,即视觉-语言-动作模型,很多人在了解到这个模型时,都会很好奇,VLA中的语言到底有什么作用?其和我们熟知的座舱语音助手类似吗?
其实在VLA模型中,语言所扮演的角色远超出与人对话的范畴,它并不是服务于乘客的语音助手,而是自动驾驶系统自身的认知中枢。
在看见与行动之间,语言提供了至关重要的理解与推理能力。这种能力的加入,使自动驾驶从基于统计的条件反射,演进为基于认知的理解后决策。
01
从看见像素到理解场景
传统端到端自动驾驶模型能够精准地完成目标检测,却难以理解场景背后的深层含义,VLA中的语言模块则从根本上改变了这一点。
通过视觉编码器与语言编码器的深度融合,模型能够将视觉感知到的空间信息与语言蕴含的语义知识对齐。
例如,系统不仅能识别出前方有一个锥桶,更能结合施工标志和车道线变化等信息,推理出这是一个施工区域,我需要减速并准备绕行。
![]()
图片源自:网络
想要实现这种理解能力,关键在于多模态信息的融合。
语言编码器(如GPT类模型)可将自然语言指令或场景描述转换为高维语义向量,与视觉编码器提取的空间特征在统一的表示空间中进行交互。
正是这种融合,让VLA模型具备了处理长尾场景的能力。
像是狭窄居民区中可能从车缝突然出现的行人、无保护左转路口对向来车速度与让行关系的判断、施工区域的临时改道等场景,仅依靠从视觉输入到驾驶动作的直接映射,难以应对。
而语言模块所蕴含的互联网规模常识知识与因果推理能力,恰好补上了这一环。
02
语言如何驱动规划
语言对驾驶最深远的影响,其实体现在决策与规划环节。
VLA中的语言模块能够进行思维链推理,也就是像人类司机一样,在脑中进行一系列结构化的思考。
被NeurIPS 2025接收的AutoVLA模型,就将思维链推理与物理动作Token化相结合,通过统一的自回归生成过程直接生成规划轨迹。
该模型设计了快思考(仅输出轨迹)和慢思考(结合思维链推理)两种模式。
在复杂场景下(如施工区域、模糊路口),模型会启用慢思考模式,生成类似前方路口绿灯即将变黄,左侧有行人等待,因此我应减速准备停车的内部推理链,再基于此生成驾驶轨迹。
![]()
图片源自:网络
而在简单场景中则采用快思考模式以提升效率。
VLA模型中语言推理出的驾驶意图还可以直接参与并引导轨迹的生成。
香港中文大学MMLab、理想汽车和清华大学联合提出的MindVLA-U1模型,就通过Classifier-Free Guidance(CFG)机制让语言侧预测的驾驶意图直接参与连续轨迹生成。
实验数据显示,该模型在WOD-E2E自动驾驶benchmark上的验证集RFS(路线完成分数)达到8.20,而人类驾驶参考轨迹的RFS为8.13。
也就是说,模型在开放环评测中生成的轨迹质量首次超越了人类驾驶参考标准。
03
可解释性与人机信任的桥梁
自动驾驶的黑盒问题长期制约着公众信任与法规落地,语言模块的引入为解决这一问题提供了可行的技术路径。
VLA模型能够将内部的推理过程以自然语言的形式输出,生成决策的依据。
英伟达于2025年12月在NeurIPS大会上发布了开源VLA推理模型NVIDIA DRIVE Alpamayo-R1(AR1),并将其描述为全球首个工业级开源推理视觉语言动作自动驾驶模型。
该模型创新性地将思维链AI推理与路径规划技术深度融合。
在行人密集且紧邻自行车道的区域,搭载AR1的车辆可通过思维链进行推理,完成采集行驶路径数据,整合推理轨迹(即系统对采取特定操作的解释说明),继而规划后续行驶路线。
![]()
图片源自:网络
AR1基于NVIDIA Cosmos Reason构建,这种可解释的AI司机,对于安全验证与法规审查都具有重要的意义。
魏牌全新蓝山智能进阶版搭载的VLA大模型同样提供了CoT推理卡片功能,可以将辅助驾驶的推理过程实时呈现给用户,每次刹车、绕行的理由都清晰可见。
04
最后的话
语言的加入,本质上是在回答驾驶中最核心的那个问题,即车到底有没有真正理解它所处的环境和要应对的局面。
VLA被推向量产,意味着行业已经认可了这条路径。
接下来要讨论的已不再是VLA能不能用,而是怎么用得更聪明,也就是如何用有限的算力做出更关键的推理,让决策既可解释又可信,从能用走向好用。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.