超车华为、小鹏，毫末的城市NOH能做到么？

在《三体》中，一群全太阳系最聪明的科学家，在一个叫做“星环城”的地方，研发出了人类文明最伟大的作品——星环号，一艘承载了地球文明最后希望的曲率驱动超光速飞船。

毫末智行也有一个“星环工厂”，两者的相同点是都在生产人类最近一次技术大爆炸的产物，而且还都是交通工具，只不过“星环城”是搞超光速飞船，“星环工厂”是生产自动驾驶车。

小家伙长这样

它的主要功能是自动驾驶去送货，帮快递小哥减轻压力。除了这个官方造型之外，大家在疫情期间见过的美团“小黄”，物美多点“小红”，阿里达摩院的小蛮驴也都是毫末大家庭的成员。

如果说自动驾驶“物流小哥”离你的生活还很远，那毫末智行的辅助驾驶业务就很贴近生活了。目前，毫末智行开发的 HPilot 已经搭载在多款长城旗下品牌车型上。

即将交付的魏牌摩卡（参数丨图片） DHT-PHEV 激光雷达版，还会搭载毫末最新的城市 NOH 领航辅助驾驶功能，很可能会是国内第一个，消费者能实际体验到的全场景领航辅助功能产品。

这套系统的能力有多强呢？

遇到道路上的占道禁止障碍车，可以自己打方向绕行，单就这一条表现，已经能够跻身智驾第一梯队了。

还有对近距离 cut in 的灵敏响应，没有漏识别，也没有过度反应影响乘坐舒适性。

城市领航辅助能够根据导航，自动调整车道，自动过十字路口，遇到复杂的非机动车，也能够及时给到减速或刹车避让。

还能看得懂红绿灯，理解交通规则。

即便是定位信号丢失、强弱光交替的高难度隧道场景，毫末城市 NOH 也能够应对。

虽然表现都很好，但在这里还是得提醒一下毫末智行和魏牌，下次拍视频的时候，驾驶员小手能不能搭在方向盘上？

AutoLab友情提示：城市 NOH 依然是辅助驾驶系统，驾驶过程中，驾驶员务必观察道路环境，双手也务必放在方向盘上以应对突发情况。

积极引导消费者正确使用辅助驾驶系统也是车企和系统供应商需要承担的责任。希望毫末智行下次的演示视频中，驾驶员的手能搭在方向盘上，给即将亲自使用该功能的车主们，做一个正确的示范。

本届毫末 AI DAY ，毫末智行原计划在“星环工厂”举办（因疫情未能成行）。这个位置的选择，也揭示了毫末城市 NOH 这一阶段的核心工作——量产落地。

重感知轻地图路线的抢跑成功

由于不强依赖城市级高精地图，毫末的城市 NOH 大概率会是国内第一个推送给用户的高阶辅助驾驶系统。不仅如此，相较于华为 ADS 等系统先期只能落地 3-6 个城市，毫末城市 NOH 在今年便能落地 10 个城市。

是否依赖高精地图做城市 Pilot 的差别，就像是开卷考试和闭卷考试，高精地图里的“先验信息”就如同老师考前划的重点，能省事但拓展性不足，而且实际做题过程中，闭卷考试的答题速度肯定比开卷考试快，毕竟都记在脑子里了。

还原到一个具体的路口左转的场景来理解，高精地图会告诉你前方 150 米处要左拐，车辆距离路口 100 米处触发向左变道就行。到了路口，高精地图还会告诉你红绿灯在哪个位置，哪个灯对应的是左拐，摄像头定向去看颜色就行。

当没有高精地图时，想要实现领航辅助功能，系统得自己理解道路环境的意思，自己判断哪条路能左转？什么时候左转？左转看哪个灯？灯在什么位置？

毫末智行的方案更接近人的日常驾驶，他使用了某图商定制的 SD+地图，仅调用基础的道路拓扑结构和导航指令（如下个路口右拐这样的指令信息），剩下的就交给感知算法了。

还原到刚才那个路口左转的场景，毫末的方案就通过 SD+地图结合定位信息，知道前方路口要左拐，通过摄像头的感知信息寻找合适的变道时机，到了路口通过算法找到红绿灯的位置，并通过深度学习判断红绿灯和道路的绑定关系，最后根据写好的道路规则通过路口。

很显然后者的难度会大非常多，上次的 AI DAY 上，毫末也完整地介绍了自己的感知算法，引入注意力机制的 Transformer 模型利用多机位的信息获得更好的车道线识别效果，通过专项训练获得更好的红绿灯感知。

这幅画面就是毫末通过正前、侧前、侧后、正后 6 个机位，用 Transformer 在 BEV 空间实时构建的虚拟地图。由于注意力机制的存在，这套模型不仅可以串联起 多个视角的画面，还能串联起多个视角画面的前后帧，在空间的三维尺度上，增加了时间这个维度。

毫末现阶段引入多帧信息是为了消除抖动，例如这一秒摄像头是被遮挡的，但是前一秒车还在另一个位置的时候拍到了完整的车道线画面，就能综合多帧画面输出一个完整的车道线感知。

这种做法其实我们生活中接触非常多，例如我们在暗光环境下用手机拍照，相机会延长拍摄时间，然后把多帧画面的光叠在一起，就构成了一张更清晰的照片。

这就像是用四维的信息去做三维的题，属于是降维打击了。

此外上面的技术架构中，除了视觉的 BEV 之外，还有一行 PointPilars（点柱），它也有一幅 BEV 的图。这个在本次 AI Day 上没有提，它实际上是激光雷达的感知结果，用PointPilars 的方式呈现出具有深度信息的 BEV 画面，激光雷达的信息叠加视觉，就构成了毫末的出色感知能力。

魏牌摩卡 DHT-PHEV 激光雷达版搭载的是速腾聚创提供的 M1 半固态激光雷达，小鹏 G9、智己 L7 等热门车型也是搭载这款激光雷达。

有意思的是这款激光雷达也有“注意力机制”，它的“凝视”功能，能动态调节 ROI 区域，并加密 ROI 区域内的点云密度，和毫末整套感知系统匹配度比较高。

一场对人类开车的模仿游戏

上次的 AI DAY 重点在讲感知，对规控说的比较少。实际上毫末也不太喜欢提规控，而是叫“认知”，这次 AI DAY，毫末 带来了基于 TaskPrompt 的认知大模型。

比较有意思的是，TaskPrompt 和 Transformer 一样，都是先应用在 NLP 自然语言处理领域的前沿模型，现在逐步被人们发掘并引入到 CV 计算机视觉领域。

对此毫末智行技术副总裁艾锐向 AutoLab 解释道，“我们觉得开车其实跟语言理解很像，如果你把司机当成一个外星人，他其实在描述他是怎么开车的，驾驶的背后有一套语法，只不过没写出来，我们是用语言理解的形态解决自动驾驶的问题”。

这套大模型的作用就是来翻译人开车时候的行为，给到具体场景下人类驾驶行为的语义理解，然后就可以找到同类或接近的场景，反复训练模型，模型就可以做到举一反三，应对一些复杂场景。

例如前面提到的路遇占道的静止车，系统会解释人这个时候为什么会向左小幅修方向？为什么要减速通过？等系统理解并做更多数据的专项训练之后，等下次遇到各式各样的占道静止车，系统就会根据场景拟合出一条最接近人类响应的路线。

这种“举一反三”大多数是依靠仿真来进行的，把真实的场景在仿真系统里复刻出来，并通过修改个别参数来验证。例如前面占道静止车的例子里，就可以调整占道车的角度、位置、颜色、类型等，从而让系统能够不局限于手写的规则，灵活避让。

除了生成或改写的仿真场景之外，毫末智行还跟阿里以及德清政府合作，利用路端设备把 24 小时的交通流输出出来，再在这样更接近真实的交通环境下验证模型。这就仿佛有人在我耳边说：你说我的模型假？再说一遍，假嘛？

越过山丘，解决更棘手的问题

智能驾驶永远是一项翻越山丘的工作。翻过了眼前的大山，就会看到更高的大山，更难解决的问题。毫末在走出量产这一步之后，紧接着就需要解决更复杂的难题。

首先要解决的就是数据处理效率和处理成本的问题，当更多的车传回更多的数据，如何高效处理这些信息就成了“甜蜜的烦恼”。而这个烦恼，此前也只有特斯拉、小鹏遇到了。

特斯拉和小鹏都先后建立了自己的超算中心，毫末智行成了第三家宣布自建超算中心的自动驾驶企业。目前关于具体的算力和具体训练芯片选型等问题，毫末还没有对外公开。

此外毫末还介绍了通过增量学习来提高数据使用效率，以及通过未标注数据的自监督学习来提升训练效果等，这些也是特斯拉的解题思路。

应对海量数据的训练问题，现在还能摸着特斯拉的石头过河，但毫末智行要解决的问题远不止这一项，例如国内交通状况更复杂，“法外狂徒”更多，该如何更准确预判其他车的行驶意图？

毫末计划下个阶段会引入对环境车辆的刹车灯、转向灯识别，目前已经在做相关的数据训练。

除此之外，还有消费者的接受度问题，辅助驾驶要做到什么程度，消费者才愿意为之买单？一方面技术上要求辅助驾驶攻城略地，尽快从高架封闭道路拓展到城市开放道路，另一方面消费者对城市辅助驾驶的需求还是很模糊的。

“我们要从一个炫技的东西变成一个实用的东西，车主要天天用，这个行业才会大规模蓬勃的发展，而只有城市 NOH 才能解决天天要用的事情”，毫末智行技术副总裁艾锐解释为什么要做城市 NOH 时如是说。

目前毫末智行也在规划对车主常用路段做单独优化，使车主的常用路线下的辅助驾驶，能达到接近 L4 自动驾驶的能力。艾锐认为特定路线的优化会成为杀手级应用，成为车主愿意使用、喜欢使用辅助驾驶的理由。

而只有当辅助驾驶实现“供需匹配”，从更多的车型上采集到更大规模的数据才能成为可能。

毫末智行是一家长在《三体》上的公司，同时也是一家喜欢摸着“自然语言人工智能领域”石头过河的公司。毫末智行 CEO 顾维灏提到，谷歌的 NLP 大模型 PaLM（就是前段时间盛传 AI 有人类情感的那个模型），在基准测试中已经超越了人类的平均水平。

而 PaLM 的训练用了 7800 亿段对话，换算来看，辅助驾驶也至少要有 1 亿公里以上的高质量数据训练，才能达到接近甚至超越人类平均水平的表现。

目前毫末已经收集了 1700 万公里的实际道路数据，想要达到 1 亿的目标，城市 NOH 任重而道远。

而这也还只是让“星环”能真正成为“星环”的第一步。