商汤绝影王晓刚讲述汽车圈的老故事、新朋友

“一场暴雨让我们（商汤）正式结缘汽车。”

11月27日，2024“绝影实力AI DAY”发布会上，商汤绝影CEO王晓刚对外分享了绝影进入智能汽车领域的故事。

那是2017年3月的一天，日本自动驾驶测试场地下起了瓢泼大雨。

“当时基于激光雷达、惯导等一系列昂贵且复杂的硬件自动驾驶系统甚至完全无法正常启动。而绝影的纯视觉方案仅靠两个摄像头，就顺利完成了整个自动驾驶的测试。”王晓刚称，正是这次暴雨让商汤正式结缘汽车，同时纯视觉的智驾方案也是其端到端研究的起点。

由此，商汤绝影与本田建立起了长期战略合作。

随后几年时间，伴随着人工智能领域的进步，商汤也加速了在智能汽车领域布局，并开始逐步上车。

2020年，商汤量产首发了“人脸识别解锁车门”；2021年，商汤绝影智能汽车平台独立新品牌发布；2022年，绝影提出了行业首个端到端自动驾驶的解决方案；2024年，绝影大模型全面助力小爱同学在车载语音场景应用……

截至今年年底，绝影服务的车企超过30家，覆盖车型超过100款，交付总量累计将超过350万辆。

在王晓刚看来，绝影能够快速落地，很大程度得益于商汤的大装置：54000块GPU，运营总算力规模达到2万P的算力支持。

而依托于强大的算力基础设施，绝影构建了驾舱云三位一体的产品体系，并且还在持续带来新的产品：智能座舱大模型产品“A New Member For U”、量产智驾产品体系，以及“开悟”世界模型。

01

智能座舱拥有了“类人”记忆

智能座舱是商汤智能汽车业务的先头兵，也是当下商业化落地最快的业务。

第三方调研数据显示，商汤绝影在座舱视觉AI软件市场的份额连续五年蝉联第一。此外座舱AI大模型产品已上车小米SU7（参数丨图片）、智己、LEVC L380等车型。

此次发布会上，商汤绝影又带来了智能座舱新产品：A New Member For U（你的家庭新成员）。

在王晓刚看来，New Member具备三大特性，察言观色、无时不在、与你心有灵犀。

例如，在旅途中，后排的孩子睡着了，New Member会主动把空调温度升高、音乐的声量调低，底盘和驾驶模式都调整为舒适模式，给小朋友一个舒适安心的睡眠环境。这不需要用户下指令，而是它观察到了，思考和推理之后，主动的服务。

上述特性的实现，背后依靠的是三大技术的支撑，分别对应的是原生流式多模态大模型、车载类人记忆框架和持续运行框架。

其中，原生流式多模态大模型，具备全场景多模感知能力，无论是文字、图像、音频还是视频，它都能以端到端优化的方式，实现对这些信息的全面感知和理解，并拥有强大的理解和推理能力。

同时，商汤绝影还针对车载场景进行了定制训练，使其更适应车辆内外的特定场景。当汽车能看见、听见、感受到，它便有了理解世界、理解人类的能力。

“有了车载类人记忆框架，New Member才能够更懂你，为你提供专属服务”。王晓刚介绍，绝影的“记忆框架”分为临时记忆、场景记忆和长期记忆三部分。

临时记忆能够快速捕捉车内外环境中的瞬时信息，比如车速、温度、光线变化等；场景记忆则动态管理用户当前的交互内容，比如导航历史、音乐偏好等；长期记忆则是一种自我迭代的能力，能从用户的长期使用中总结规律并不断优化。

这三者组成的记忆框架，支持毫秒级的动态记忆检索，覆盖人、车、物、环境四大类别，并涉及100多个记忆维度。例如，它能在用户第二次使用时记住其第一次提出的偏好建议。

此外，它不仅能够记住用户的喜好，还能基于场景和需求进行总结、增强和反思，甚至遗忘不必要的信息。

持续运行框架则是端云协同的，它的场景任务有80%是在端侧完成的。

据王晓刚介绍，这一框架有多项核心技术的亮点。它可以持续的推理，有基于记忆反馈的闭环；零拷贝传输，数据延时可以控制在1毫秒以下，确保所有感知模块能够协同工作；推理速度可以达到40Token每秒，首包延时60毫秒，同时还覆盖了英伟达、高通、联发科等平台，绝大部分的车型都可以快速落地应用。。

“听到这里，可能有人会担心数据隐私怎么办？”王晓刚称，这一切都是在商汤绝影打造的隐私保护体系之下，包括语料安全、安全对齐训练、安全测评、上线确认等环节，保障“数据跟人走”，“隐私数据不出车”等数据安全，实现敏感场景识别、价值观对齐等场景安全。

不止国内，面向海外市场，商汤绝影也进行了座舱视觉AI产品矩阵的升级。

E-NCAP（欧盟新车安全评鉴协会）测试一向难度颇高。此前，商汤绝影已经助力极氪X的DMS系统拿到E-NCAP历史最高分。

2026年，E-NCAP将在欧洲实现智能座舱的全面普及，要求车辆能够对乘务员的坐姿以及成员的身材进行检测。

为此，此次发布会上，商汤绝影又并在首发ENCAP2026 OOP离位检测、身材检测功能，主要服务于海外市场。

02

端到端智驾方案AD Ultra明年底交付

如果说A New Member For U给智舱以温度。那么，王晓刚希望，智能驾驶能实现出行更加自由。

截至目前，商汤绝影的智驾量产方案已经在三家车厂六款车型上车，包括哪吒GT、哪吒S、昊铂GT、广汽埃安LX Plus、红旗金葵花国雅和一汽红旗EH7。

此次AI DAY上，商汤绝影介绍了三大量产智驾解决方案，包括基础智驾方案、覆盖全场景的高阶智驾，以及基于UniAD打造的端到端量产智驾方案。

基于J6E和J6M两个平台，商汤绝影打造了AD Pro和AD Max两个量产智驾方案，其中AD Max能够实现城区无图NOP。J6平台的智驾方案预计明年2季度量产交付。

同时，商汤绝影也发布基于UniAD打造的绝影量产端到端智驾方案AD Ultra。

UniAD，Unified Autonomous Driving，‌是一个完全端到端自动驾驶框架。

早在2023年CVPR大赛评选中，商汤共有两篇论文登上最佳论文候选名单（Award Candidate），其中自动驾驶研究论文《Planning-oriented Autonomous Driving》（以路径规划为导向的自动驾驶）斩获本届CVPR最佳论文奖（Best Paper Award）。

这是以UniAD为技术核心的端到端方案的重要理论基础。

今年4月，北京车展首日，商汤绝影又对外公布了面向量产的端到端自动驾驶解决方案UniAD的道路测试表现。

在商汤绝影看来，如果说传统的智驾方案每个功能都“自行其是”，那么端到端就是一个功能栈做所有事，其中UniAD是一种渐进的端到端方案，把原本分开的感知和决策功能模块按照灵活的方式连接在一起。

此次活动上，王晓刚进一步介绍了基于UniAD打造的AD Ultra。

该方案无图、无激光雷达，仅需1个毫米波雷达和11个摄像头，只要200+TOPS的车载算力平台，就能够上车一段式端到端智驾，实现“类人”驾驶体验。

商汤绝影已经与大卓智能、东风汽车等达成战略合作，量产交付也正在推进中。而绝影的量产端到端智驾方案，预计明年四季度能够交付落地。

据介绍，商汤绝影与大卓、东风和绝影的合作，超越了传统模式，绝影不仅支持白盒交付，还愿意把基础设施、底层工具直接等部署到主机厂，合作开发。

03

绝影智驾研发中20%数据由“开悟”生成

面对智驾市场激烈的竞争，“后来者”商汤绝影如何打动更多的车企，带来更好的体验？

王晓刚的回答是：数据。

在他看来，传统的智驾是靠堆砌人力，手写规则来推动的，难以解决海量Corner Case的场景，而端到端的智驾由大量的实车采集的数据来推动模型的能力升级。

而当下，行业研发范式正在从规则驱动转为数据驱动，庞大的数据需求取代了大量的工程人力投入。数据驱动的模式需要有完善的数据闭环体系支撑，数据基础设施便成为竞争的核心。

特斯拉目前有700万辆高阶智驾量产车收集数据，有成熟的数据基础设施和10万P的超大算力。

据第三方统计，我们国内车企支持城区辅助驾驶高阶智驾的车的数量约为数十万辆，并且不同的车型，数据的基础设施也不统一。再考虑到云端算力与特斯拉有两个数量级的差距，国内车厂要想追赶上，必须要通过新的模式来革新数据基础设施。

王晓刚认为，智驾高端局的竞争不只是车端模型的比拼。端到端的决战战场在云端。

“更大的战场也代表着更多的机遇和更广阔的市场的空间。想要赢得这场战争，我们需要一个强大的世界模型”。为此，商汤绝影带来了：世界模型“开悟”。

“开悟世界模型可以理解真实世界中的物理法则和交通规则。在这个基础上能够准确地生成场景。”王晓刚进一步表示，我们生成的视频是11个摄像头（包含了四个鱼眼摄像头），11V时空一致。时间最长可以达到150秒，分辨率能够达到1080P。

同时，开悟生成的场景也是可控的，能够细微到元素级别。生成的场景非常精细，依靠多模态能力开悟将会打造1024类场景以及千万个场景库，实现泛化平行世界，满足端到端模型训练和仿真对于数据质量的高要求。

据王晓刚介绍，凭借开悟世界模型的泛化能力，商汤绝影打造了端到端智驾场景库，将覆盖1024类场景，包括了50多类天气、光照等条件的基础场景，以及200多类不同的交通标志、300多类道路的连接场景，比如说路口、环岛，还有隧道等等。在这个基础上就可以构建千万级别的场景库。预计2025年会向全行业开放。

目前，开悟已经支持绝影的数据生产工作，智驾研发中20%的数据，都是由开悟世界模型生成，未来这个比例期望能够达到88%。

此外，开悟还能够支持端到端智驾系统迭代的数据闭环，构建与自车实时互动的闭环仿真环境。

具体的方案，第一步是路测，新问题的发现；第二步，针对于失效的案例生成端到端的训练数据；第三步是进行端到端仿真迭代的验证。

根据商汤绝影的测算，基于一张A100的GPU开悟的世界模型，平均每天可以生产大约2万个bundle，相当于10台真实车或者是100台路测车的数据采集能力，比得上500台量产车的效率。

“开悟具备强大的全栈技术能力，可以在标注数据的泛化、Corner Case的生成、车型级传感器迁移、闭环仿真场景当中进行应用”。王晓刚称，绝影以大装置为支撑，已经与车厂成功联合打造实车数据闭环引擎，覆盖智驾端到端训练的全环节。

从智能座舱、到智能驾驶，再到如今的世界模型，商汤绝影在汽车领域的布局越来越深、投入越来越大。当然，它也希望能有更多的回报。

在王晓刚看来，自动驾驶实现盈亏平衡可能还需要有三年左右的时间，这取决于自动驾驶车辆的数量，需要百万级的量去支撑业务的发展。

“单打独斗难以在AGI（通用人工智能）时代脱颖而出，我们将共享大算力集群和大模型的能力，共建数据基础设施，共创智能汽车AI的应用生态。”王晓刚表示，绝影是曹操的坐骑，跟着曹操四处征战，打了很多的胜仗。以绝影命名，也寓意着我们的团队将如同千里马一样，忠诚可靠、敏捷迅速，全面助力合作伙伴在竞争当中领先卓越。