为什么端到端智驾学会倒车这么难？

本文首发于智驾最前沿微信公众号，如果前方的道路被障碍物堵住，人类驾驶员会选择先倒车，退开一点、调整方向后，再继续向前。

但对自动驾驶系统来说，这并不是简单地增加一个倒车动作这么简单。

9月30日，地平线发布 HSD V2.1，新增全场景倒车能力，覆盖窄路会车、前方受阻、脱困起步等场景。地平线表示，这项能力涉及三维空间感知、复杂场景决策和车辆连续动作控制。

这个升级看起来只是让自动驾驶从会向前开变成也会向后开，但真正值得关注的，其实是当当前路径走不通时，智驾系统能不能主动改变策略，并重新找到一条可行路线？

这也是全场景倒车真正难的地方。

01 倒车为什么不是向前开的反方向？

车辆前进和后退共享感知、规划与控制框架，但车辆进入倒车状态后，车辆自身运动与周围空间之间的关系会发生变化。

系统不能只判断车后有没有障碍物，还需要结合车辆当前姿态、转向状态、车身尺寸和周围障碍物的位置，判断下一步能够形成怎样的可行轨迹。

例如车辆在狭窄道路中倒车时，方向盘的转动不会让整辆车简单地沿着一条直线向后移动，车头和车尾的运动轨迹并不相同，车辆姿态也会随转向不断变化，最终占据的空间也随之改变。

这在数学上对应的是车辆的非完整约束特性。

在无侧滑、且将左右前轮简化为等效前轮的假设下，后轴中心速度方向沿车身纵向，前轴中心速度方向沿等效前轮朝向，车辆不能像螃蟹一样横向平移。

图片源自：网络

后轴中心速度方向与前轴中心速度方向的夹角，就是等效前轮转角δ。

低速下常用运动学自行车模型描述车辆运动，后轴中心速度v和前轮转角δ共同决定车辆在下一个瞬间的位置和航向变化率。

倒车时v<0，同样的前轮转角会让航向变化方向与前进时相反。这也是倒车操作感觉和前进相反的原因之一。

当方向盘打到极限时，前轮转角达到最大值，对应一个最小转弯半径。任何规划出的路径，其曲率都不能超过这个极限，否则车辆根本无法执行。但最小转弯半径只是运动学下限，实际规划还要考虑车身扫掠包络、内轮差、后悬外摆和障碍物之间的安全距离。

换句话说，倒车轨迹必须满足车辆运动学约束、碰撞约束和轨迹可行性约束。系统不仅要知道周围有什么，还要预测车辆动起来以后，车身扫掠体会进入什么空间。

02 什么时候该退、退到哪里？

知道能不能倒只是第一步，而什么时候应该倒、又应该倒多少，则是前方受阻场景与典型泊车任务的一个关键区别。

自动泊车一般存在相对明确的终止目标，例如进入指定车位，系统需要围绕这个目标规划和调整车辆轨迹。

但前方受阻并不一定存在提前确定的终点。

车辆进入一段窄路后发现前方无法继续通行，系统首先要判断当前路径是否仍然可行。

如果不能继续向前，就需要重新决定是否后退、后退到什么位置，以及后退之后如何继续前进。

车辆后退以后，自身位置变了，车辆与周围车辆和障碍物的相对关系也可能发生变化。原来的路径可能不再适用，新的可行空间也可能出现。

于是系统需要不断重新判断当前路径还能不能走？如果不能，应该向后退多少？退到哪里以后有足够空间调整方向？调整之后，是继续向前还是继续倒车？

这使得倒车从一个单独的车辆动作，变成了一个持续重新规划的驾驶过程。

03 为什么倒车会考验端到端智驾？

前面说的是倒车在决策和规划层面的难点。当这些问题落到端到端系统上时，挑战会被进一步放大。

倒车之所以考验端到端智驾，并不是因为系统因此获得了一项与前进驾驶完全不同的能力。

恰恰相反，倒车场景把自动驾驶中的空间理解、行为决策、轨迹生成和车辆连续执行等几个底层问题同时放到了一起。

图片源自：智驾最前沿

地平线官方也将全场景倒车定位为端到端模型综合能力的集中体现，指出它要求系统同时具备对三维空间的精准感知、对复杂交通场景的决策判断，以及对车辆连续动作的精细控制。

而这几个问题在倒车场景中都比前进时更严峻。

1）开环训练与闭环部署之间的鸿沟

当前端到端自动驾驶模型通常使用模仿学习，在离线专家演示数据上进行训练。这一范式在开环评测中往往表现良好，但面临开环训练与闭环部署之间的目标不一致的问题。

模仿学习假设输入是独立同分布的，并优化数据集分布下的一步预测精度。但一旦部署到闭环环境中，策略会影响自身的观测，即车辆的动作改变环境状态，环境再产生新的观测反馈给模型，形成动作—环境—新观测—新动作的循环。

这种训练与部署之间的不匹配会引发协变量偏移，模型自身的小误差把它推入训练数据中从未出现过的状态，而这些状态下的决策又产生新的误差，误差逐步累积。

在闭环执行中，这种误差累积会显著降低系统的可靠性。

倒车场景恰恰是最需要闭环能力的。

因为每一次倒车之后，自车与环境的相对关系都变了，系统必须根据新的观测重新决策，而不是简单回放一条预先规划好的路径。

闭环训练比开环训练更接近真实部署条件，但闭环训练本身也面临一些问题。

一方面，闭环训练高度依赖高保真传感器仿真，传感器级仿真的视觉真实度、传感器特性和场景多样性相比真实驾驶数据仍然有限。

另一方面，可微分闭环仿真器本身可能引入捷径学习，模型利用梯度流非因果地后悔过去的预测，而非真正学习恢复行为。

这两者是闭环训练面临的不同层面的困难，不宜混为一条因果链。

2）强化学习中的奖励设计困境

既然闭环训练如此重要，强化学习就成为了一种自然的解决思路。

地平线HSD也引入了世界模型与端到端强化学习的双引擎架构，即世界模型负责造场景，强化学习负责在造出来的场景里练。

但强化学习用于倒车有一个问题，那就是奖励函数的设计极其困难。

在非完整约束下为无模型强化学习设计有效的奖励函数仍然是一个持续存在的挑战，这会导致严重的局部极小值问题，例如策略瘫痪或过度保守的风险规避。

具体来讲，就是碰撞惩罚的设置构成一个高度脆弱的边界。

如果碰撞惩罚设置得过低，模型会为了微小的进展而不断牺牲安全性；如果碰撞惩罚设置得过高，价值函数网络会迅速屈服于一种胆小鬼策略，模型学会通过冻结在原地或执行完全远离泊车区域的防御性操作来安全地避免碰撞，优化目标从完成任务变成了最小化惩罚流。

更棘手的是，传统的密集奖励设计还存在目标不匹配问题。

将空间距离误差、朝向偏差和碰撞惩罚以线性组合方式聚合时，一个距离目标还很远的车辆会被过早地惩罚朝向角度偏差，这会导致不稳定的局部极小值，例如在目标区域附近或远离目标区域的地方原地转圈。

这些失败模式在前进驾驶中相对少见，因为前进驾驶的任务空间更开阔、容错空间更大。

但倒车场景的空间极为受限，奖励函数设计中的微小偏差就会被急剧放大。

图片源自：网络

3）前向感知与后向感知的不对称

目前，几乎所有辅助驾驶系统的感知能力都围绕前向设计，因为前方感知配置最完善且训练数据最丰富。

一旦需要倒车脱困，后方变成前方，系统在数据分布层面就有劣势。

端到端模型会从真实驾驶视频中学习，而绝大多数视频都是往前开的，倒车场景在训练数据中占比极小。

这也就是说当系统需要倒车脱困时，后方场景在模型的经验分布中属于罕见情况。

4）长时序行为切换中的不稳定性

倒车过程涉及多次前进与后退之间的切换，每一次切换都是一个行为模式的跳变。

这类行为切换点上的不稳定性，在自动驾驶的连续策略学习中已有文献观察。

研究发现，某些策略在行为模式之间表现出分叉特性，初始状态的微小变化，甚至小到亚厘米级的偏差就可能诱发行为模式的显著跳变，使驾驶行为从一种切换到另一种。

在连续策略试图平滑插值行为过渡时，反而可能在切换边界上产生约束违反。

在前进/后退切换这样的行为过渡点上，模型可能输出位置点正确但朝向错误的轨迹，或者出现跨规划周期不连续的轨迹。

04 最后的话

端到端智驾真正需要解决的，并不是让车辆记住一个倒车动作。真正难的是，当原来的路线走不通时，系统能不能自己发现问题、改变策略、重新规划，并把新的驾驶策略连续执行下去。

从这个角度看，倒车只是一个具体场景。

它真正考验的，是自动驾驶更底层的能力，即能否理解车辆与环境之间的空间关系，能否在路径失效后重新规划，并在环境持续变化的情况下完成新的驾驶任务。