搞不懂VLM概念不要紧，只要知道是AI座舱的新方向就够了

草蛇灰线，伏脉千里，科技发展的轨迹就藏在一些不起眼的消息里。

最近，小米宣布在YU 7上面搭载高通第三代骁龙8，小鹏宣布将在G7 Ultra上面搭载图灵AI芯片，这两件事标志着AI座舱将成为新的竞争热点。

历史是由人民创造的，但社会是由少数人推动的，所以，乔布斯老爷子才有了那句至理名言：消费者根本不知道自己需要什么，直到你把它放到他们的眼前。

对于智能座舱而言，大部分消费者的普遍期待是有个流畅的车机，和一个可以执行用户控车指令的语音助手，最好再给配上沙发、冰箱、大彩电。

二三十万甚至大几十万买一台冠以“智能”二字的电动汽车，对智能座舱的需求却如此小心翼翼、低声下气，就像个花出去大把钱却连女神的手都不敢牵一下的舔狗一样，卑微到了尘埃里。

AI时代扑面而来，多模态大模型纷纷涌现，人们对包括智能座舱在内的智能系统的需求着实应该再上一个台阶了。

参照自动驾驶，智能系统包含感知、决策和执行三大模块，以分模块视角看智能座舱，目前的智能座舱在这三个方面都存在短板。

感知方式单一，不够多模态，导致无法充分理解用户需求；决策依赖云端，受限于敏感信息不出车的法规限制，端和云之间存在巨大的信息鸿沟；执行端缺少实用的Agent助手，个人助手要处理更多个性化的信息，形成独属于用户自己的知识库，才能知冷知热，千人千面。

针对这些短板，结合大模型带来的理解能力和生成能力的巨大进步，新一代智能座舱应该有一个基于自然语言、手势、表情的多模态交互UI，以实现场景感知与用户行为理解。

同时要部署一个本地大模型，不仅要有通用大脑的能力，还可以通过覆盖个人全生命周期的数据和知识库实现千人千面，主动提供个性化的服务。

智障座舱真正能在场景理解、用户行为理解、个性化服务这些层面上一个台阶的话，就能升级为AI座舱了。

前事不忘，后事之师。

看看PC时代基于文本指令的DOS到基于图形界面的Windows的巨变，瞧瞧智能手机时代按键式功能手机到触屏式智能手机的转变，就能得出一个结论：交互方式的改变往往会重塑智能终端设备的格局。

对于AI座舱或智能空间这个新一代移动智能终端，其智能等级的跃迁也体现在交互方式的改变上。

目前，主流智能座舱的人机交互方式是依赖中控屏的触控交互+基于规则的语音交互，但是，对于一些内部空间相当大的汽车来说，中控屏安装位置的固定性使得很多成员无法方便地使用中控屏，只有文本能力的语音助手根本无法精准理解用户的需求。

所以，当AI能力进一步增强以后，高等级智能座舱必然会走向多模态自然交互。

在这个迅猛发展的AI时代，交互方式的背后是AI模型，座舱越智能，人与座舱之间的人机交互就应该越接近人类的自然感知和交互方式，AI模型也不可避免地要从单一模态的小模型进化为多模态的大模型，更具体地说，便是包含视觉（摄像头）、听觉（麦克风）、文本（触摸屏）、触觉（毫米波雷达）多种模态的视觉语言模型VLM。

多模态之所以意味着自然的感知和交互，是因为这个精彩的大千世界本身就是多模态的，人类日常生活、工作和娱乐体验不仅包括文本，还包含声音、图像、视觉、触觉等多种感觉输入，我们在这个多模态的世界里生生死死，自然的感知和交互方式也必然会是多模态的。

为了让AI模型更好地模仿人类的感知和交互方式，它们就得能够处理和生成多种模态的数据，并通过整合多种模态，以提供更丰富、更真实、更沉浸的体验。

在信息不足或存在思维定式的情况下调侃车企的技术方案，果然非常容易被打脸。

前段时间，在讨论小鹏和理想VLA在端云结合上的区别时，我曾经调侃道，小鹏汽车该不会是真的指望本地部署的几B参数智驾模型的语言理解能力可以处理复杂任务语音指令吧。

时间不长，我就被啪啪打脸了。原来，小鹏靠的不是高帧率、几十亿参数的智驾VLA模型，而是要在座舱里部署几百亿参数的VLM模型，这个参数规模的确可以处理用户控车那种“复杂任务语音指令”。

或许有人会怀疑小鹏的图灵AI芯片到底能不能真正实现在端侧本地部署几百亿参数大模型，其实是可以的。

做个类比就是了，小鹏图灵AI芯片的有效算力与英伟达Thor-U接近,既然理想汽车可以在700 TOPS算力的Thor-U上部署帧率为十几赫兹的几十亿参数智驾VLA大模型。

那么，小鹏汽车当然也可以在同样是700 TOPS算力的图灵AI芯片上部署帧率为1-2赫兹（大约是智驾模型帧率的十分之一）的几百亿参数座舱VLM大模型。

小鹏这次将超大算力芯片搬进座舱、本地部署几百亿参数VLM座舱大模型的举动再一次开了风气之先。

在小鹏将图灵AI芯片、小米将第三代骁龙8搬进座舱之前，智能座舱的主流芯片是30TOPS算力的骁龙8295或采用双NPU、算力为60TOPS的骁龙8295P，不止算力比较低，内存带宽等各种指标也落后一代，所以只有运行十几二十亿参数的小模型。

现在，第三代骁龙8可以运行最多一百亿参数的大模型，小鹏图灵AI芯片更是可以运行几百亿参数的座舱VLM模型，此举将毫无疑问地直接将座舱的智能等级或AI等级提升一个代际。

正如小鹏曾经在智驾领域遥遥领先其它车企一样，小鹏这一次又要在AI座舱的赛道上划下头部阵营的门槛了。

和自动驾驶领域的突飞猛进相比，智能座舱领域已经有好几年都没有大的跨越式发展了，这一次，小鹏汽车打响了进军AI座舱的第一枪，相信其它车企很快也将入局参战了！