自动驾驶AI学会开车前，先得学会不作弊

你有没有想过这样一个问题：如果一个学生做数学题时，老师先把答案告诉他，再让他"写出解题过程"，这个过程还有意义吗？

大概率，学生会倒着推：先看答案是"42"，然后编造一套看起来合理的算式凑出这个数字。老师如果只看步骤写得像不像那么回事，压根发现不了这个学生根本不会做题。

这个荒诞的场景，正在真实发生在自动驾驶AI的训练里。而且发生的方式，比你想象的更隐蔽。

一个悄悄作弊的教学环节

现在做自动驾驶的AI系统，通常长这样：一个体积庞大的视觉语言模型负责"想"（看懂路况、判断该怎么开），一个小一些的执行模块负责"做"（把决定变成精确的方向盘和油门指令）。

视觉语言模型*：能同时理解图像和文字的AI模型，可以看懂路况照片，也能用文字描述和推理，是目前多模态AI的主流架构。

这个"想"的部分至关重要，因为所有的判断力都压在它身上。为了让它想得更好，研究者们最近流行给它加上思维链训练。

思维链*：让AI在给出最终答案之前，先用文字一步步写出推理过程，类似人做应用题时先写"因为……所以……"的草稿过程。这样做通常能让AI的判断更准确、更可解释。

问题出在训练这个思维链的方式上。研究者们通常会拿一段真实记录下来的行车数据，包括当时摄像头拍到的画面，以及司机接下来5秒钟实际走的路线，也就是所谓的真值轨迹。然后让一个更聪明的"教师模型"看着这些画面，写一段解释：为什么应该这么开。

真值轨迹*：从真实行车记录中提取出的、车辆实际行驶的路径数据，通常被当作"标准答案"用于训练和评测AI模型。

问题来了：教师模型在写解释的时候，通常是已经知道了答案的。

它看到的不只是路况画面，还有"5秒后车子应该往右转"这个既定事实。于是它写解释的方式，很可能不是"我看到了什么线索，所以推断该往右转"，而是反过来的："既然答案是往右转，那我得在画面里找点理由出来"。

这就是本文要讲的核心问题：轨迹锚定偏差。

锚定偏差:当答案先于证据出现

锚定偏差这个词来自心理学，指的是人在做判断时，如果提前接触到某个信息，哪怕这个信息本身没有道理，也会不自觉地被它左右后续的思考。

心理学上有个经典实验：让人先转一个写着随机数字的转盘，再问他们某个国家的人口占世界比例是多少。神奇的是，转盘数字大的那组人，猜的比例也普遍更高。转盘数字和人口比例八竿子打不着，可它依然污染了人的判断。

现在把这个现象搬到自动驾驶AI身上：教师模型被提前"喂"了真值轨迹，相当于被喂了一个转盘数字。它接下来写的"推理过程"，很可能只是在给这个已知答案找补理由，而不是真正基于路况画面做推断。

论文作者做了一个很扎实的对照实验来验证这个猜测。他们挑选了100个"因果性很强"的复杂驾驶场景，比如突然刹停、急转弯这类必须靠具体路况才能判断该怎么开的情况，然后用同一个教师模型，在两种设定下分别生成推理文字：一种是完全不告诉它真值轨迹，让它自己从画面推断该怎么开；另一种是提前把真值轨迹喂给它。

结果相当扎眼。两位人类评审员从抓取线索是否准确、有没有编造不存在的东西、描述是否具体、逻辑是否自洽这四个维度打分，汇总成一个叫做因果忠实度的综合分数。不知道真值轨迹时写出的推理，平均得分是6.43分（满分8分）；提前知道真值轨迹后写出的推理，平均分掉到了5.02分。

更要命的是幻觉率。论文里描述了一个具体案例：某个场景的真实答案是"右转"，但画面里其实根本没有任何强制右转的标志。不知道答案的教师模型老老实实地说，我看到绿色围栏和向右延伸的道路结构，这是合理的推断。而提前知道答案的教师模型则一本正经地写道，围栏上挂着一个强制右转标志。

这块标志压根不存在。它是被编出来给答案找补的。

这不是个别现象，是系统性的。在不知道答案的设定下，严重幻觉的比例是29%；提前暴露答案后，这个比例飙升到50%。也就是说，每两段"看起来言之凿凿"的解释里，就有一段在编造理由。人类评审员做两两对比时，60.5%的情况更喜欢不知道答案时写出的推理，只有24%的情况更喜欢提前知道答案的版本。

这个实验揭示的道理，其实和考试作弊没什么本质区别。

如果一个老师先把标准答案发给学生，再让学生"独立完成解题过程"并上交批改，那这份作业能反映学生的真实水平吗？显然不能。学生会把答案倒推出一套逻辑，看起来天衣无缝，实际上完全没锻炼到真正的解题能力。等到真正考试没有答案的时候，学生该不会还是不会。

自动驾驶AI的训练也是同样的道理：如果教它写推理时总是先给答案，它学到的不是"如何从路况推断决策"，而是"如何给一个已知的决策编造一个像样的理由"。等到真正上路，面对没有标准答案的新场景时，这套编故事的本事帮不上任何忙，甚至会更糟：它可能已经习惯性地虚构证据来支撑一个自己内心已经"锚定"的判断。

把开放式轨迹生成变成选择题

发现问题后，最直接的解法似乎是：把真值轨迹藏起来，让教师模型先凭空推理出决策，再去对照真实轨迹验证对不对。这个思路其实回归了训练强推理模型时常用的先解后验范式，也就是先让模型独立作答，再用标准答案去检验，而不是让答案提前介入推理过程。

这个思路听起来很合理，但在自动驾驶场景里落地时撞上了一堵墙。

问题出在"轨迹"这个东西本身太复杂了。一条5秒钟的行车轨迹，是由一串连续的坐标点构成的，精确到每半秒钟车子在哪个位置。这既涉及高层次的决策，比如该直行还是左转，也涉及底层的几何精度和动力学细节，比如具体走多快的弧线、什么时候刹车。

让一个语言模型凭空生成这样一串连续坐标，难度相当高。语言模型天生擅长处理离散的文字和概念，让它输出精确到小数点后几位的坐标序列，就像让一个擅长写文章的人去精确演算圆周率，能力错配。

论文作者用实验证明了这一点。他们直接微调一个视觉语言模型，让它学习预测这些轨迹对应的特殊符号。结果发现，即便训练损失一直在下降，模型在没见过的场景上的预测误差却始终居高不下，稳定在1.96米左右，远高于把轨迹"打包压缩"后理论上能达到的0.279米精度下限。这说明误差主要不是来自轨迹的表示方式，而是来自语言模型本身很难精确推断出正确的坐标序列。

更糟的是，这种训练方式还会严重损害模型原本的通用视觉能力。论文里的数据显示，经过14轮这样的训练后，模型在12个通用视觉测试基准上的平均得分，从第一轮的53.49%一路跌到几乎为零。即便加入思维链辅助，也只是让崩溃来得慢一点，最终平均分还是掉到了21.50%。

这就好比让一个原本什么杂活都会干的多面手，去专门死磕一门极度精细的手艺，比如微雕。结果这门手艺没练成，原来会做的其他活计也生疏得差不多了。

面对这个两难局面：既不能让教师模型提前看答案，又没法让它直接生成精确坐标，论文提出了一个巧妙的折中方案，叫做AD-MCQ。

AD-MCQ*：全称Autonomous-Driving Multiple-Choice Question，把自动驾驶的路径规划问题，从"凭空写出精确坐标"转化成"从几个具体的候选路径里选一个最合适的"，类似把开放式问答题改造成选择题。

这个转化的巧妙之处在于，它既保留了轨迹级别的精细区分度，比如刹车时机、速度快慢、转弯弧度这些细节，又把生成任务变成了判断任务。判断题对语言模型来说容易得多，因为它只需要输出一个选项字母，而不用去推算精确的连续坐标。

具体怎么构造这些候选路径呢？研究者们先收集了约51万条真实行车轨迹，用一种叫K-means的聚类算法，把这些五花八门的轨迹归纳压缩成8192种典型的"运动模式原型"。

K-means聚类*：一种把大量数据自动归类成若干个"典型代表"的算法，比如把成千上万种颜色自动归纳成几十种主色调，每种颜色都能找到离它最近的那个"代表色"。

每当遇到一个新场景，系统就把这个场景真实发生的轨迹，匹配到最接近的一个原型上，作为"标准答案"。然后再从剩下的原型里，挑出5个具备一定迷惑性的干扰项，凑成6个选项，让AI从中选出正确的那个。

为什么代码本的规模选择了8192这个数字？论文做了详细的对比实验。原型数量越多，重建精度越高，但过多的原型会导致很多原型在实际测试中根本用不上，造成资源浪费。研究者发现，8192这个规模能达到不错的平衡点：样本外重建误差约0.29米，同时92%的原型都能在实际测试中被用到。如果翻倍到16384个原型，误差确实能进一步降低，但样本外的利用率会跌到73.7%，意味着超过四分之一的原型都是摆设。

图4展示的数据曲线很直观：原型数量每翻一倍，重建误差大约下降15%，呈现出一个平滑的边际效益递减曲线，而不是某个临界点后突然变好或变坏。这提醒我们，这类工程决策往往不是非黑即白的最优解，而是在多个约束条件下找一个"够用且不浪费"的甜蜜点。

让AI先做决定，后看选项

有了AD-MCQ这个选择题框架，还剩一个致命的隐患：如果把六个候选轨迹一开始就摆在AI面前，再让它一边看着选项一边"推理"，会发生什么？

大概率会重演之前的悲剧，只不过锚定的对象从"唯一的真值轨迹"变成了"整个候选选项集合"。

AI很可能会偷懒，直接开始比较六个选项谁看起来更靠谱，而不是先认真读懂路况再做判断。这就好比考试时，如果选择题的四个选项写在题干前面，很多学生会先扫一眼选项，脑子里带着"排除法"的思路去读题，而不是先独立理解题目再去匹配答案。这种做法在应试时可能管用，但反映不出学生是否真的理解了知识点。

针对这个新出现的"选项锚定"问题，论文提出了这篇文章真正的核心创新：DEFT-RLVR。

DEFT-RLVR*：全称Deferred Exposure of Future Trajectories for RLVR，直译是"延迟暴露未来轨迹的可验证奖励强化学习"，核心思路是让AI分两步走，先在完全看不到候选轨迹的情况下独立做出决策，再拿这个决策去匹配具体的候选路径。

具体的操作流程分成两个回合。

第一回合，AI只能看到路况画面、车辆当前的速度和加速度信息，以及导航指令，比如"直行"或"左转"。它需要在完全不知道后面会出现哪些候选选项的情况下，独立推理出一个高层次的驾驶决策，比如"应该减速停车，且保持直行方向"。这个决策会被明确记录下来。

第二回合，系统才把六个候选轨迹展示出来，此时AI的任务不再是重新思考该怎么开，而是拿着第一回合已经拍板的决策，去候选项里找哪一个最符合这个决策。整个匹配过程被要求严格遵守第一回合已经定下的速度和方向判断，不允许因为看到了某个"看起来很顺眼"的选项就临时改变主意。

这个设计的精妙之处，在于它把轨迹信息的作用从"决策前提"彻底转变成了"决策后的验证工具"。

打个比方，这就像面试官出的情景题：先让面试者口头说出他会怎么处理某个突发状况，把这个答案完整记录下来，然后才把几份写好的应对方案递给他，让他选一份最符合自己刚才所说思路的方案。如果反过来，面试者一开始就看到几份现成方案，那面试官压根测不出这个人到底会不会独立思考，只能测出他挑选文字表述的眼光。

论文用一组对照实验验证了这个设计确实有效。在完全相同的正确性奖励机制下，先展示候选项再让AI边看边推理的做法，在一个80亿参数模型上准确率是61.1%；而采用先决策后展示的做法，准确率跳到了76.4%，整整高出15.3个百分点。在另一个40亿参数的模型上，这个差距是6.7个百分点。

论文还专门跟踪了训练过程中的一些内部指标，观察到了很有意思的现象：先展示候选项的训练方式，策略模型的KL散度（用来衡量当前策略偏离初始策略的程度）漂移幅度远远超过延迟展示的方式，但最终准确率反而更低。这说明这种"提前看答案"的设定会诱导模型走上一条更混乱、更低效的优化路径，即便投入了同样多的训练资源，效果也打了折扣。

光有对错还不够,还得看推理靠不靠谱

如果DEFT-RLVR只用"选对了还是选错了"这一个信号来训练模型，会出现一个隐患：模型完全可能是靠瞎猜蒙对的，或者钻了某种统计规律的空子，比如发现"选项里最长的那个通常是对的"这类和真实驾驶逻辑毫无关系的捷径。

论文管这种现象叫捷径式的走捷径，需要额外的机制去甄别。

为此，研究者引入了一套结构化评分标准的奖励机制。

具体做法是，针对每一个训练场景，事先用另一个视觉语言模型离线生成一份"评分细则"，里面列出六到十条具体的、可以判断"是"或"否"的检查点，比如"是否提到了具体可见的交通标志"、"是否避免了把车辆当前的行驶速度当作维持不变的理由"。这些细则完全基于场景本身的画面信息生成，不涉及真值轨迹，也不知道哪个选项是正确答案。

在实际训练打分时，只有当AI最终选对了轨迹，它第一回合写的推理文字才会被送去做进一步的细则审核。一个专门的评分模型会把AI的推理文字和这份细则逐条对照，判断每一条是否满足，最后按权重加总得出一个过程质量分数。这个评分模型有一个关键限制：它看不到任何图像、看不到候选选项、也不知道真值轨迹，只能纯粹依据文字推理本身的质量来打分。

为什么要这么设计？

因为如果打分模型也能看到图像和答案，它很可能会不自觉地被这些额外信息影响判断，就像老师批改作文时如果知道这篇作文最终考了满分，很容易带着"这写得真好"的滤镜去读，反而忽略了文字本身逻辑上的漏洞。让打分模型什么"提示"都拿不到，反而能让它更专注地审视推理过程本身站不站得住脚。

最终的奖励公式，是正确性得分乘以过程质量得分。也就是说，选错了直接得零分，无论推理写得多漂亮；选对了但推理逻辑混乱或者存在编造成分，得分也会被大幅打折。

这套机制带来的效果相当明显。论文的对比数据显示，加入这套评分细则监督之后，模型生成的回答长度变短了，探索过程中的不确定性也降低了，同时因果忠实度分数和高层决策一致性都进一步提升。这说明评分细则起到了"修枝剪叶"的作用：它压制了那些漫无目的的胡乱试探，把模型的探索精力引导到真正有意义的推理路径上。

这里还有个值得一提的效率细节。论文对比了两种打分方式：一种是每次训练都实时调用一个能看图像的模型去打分，另一种是先离线生成好评分细则，训练时只用一个纯文字模型去逐条核对。数据显示，后一种方式的训练速度比前一种快了41.1%，因为处理大量图像信息本身就非常耗费算力，而文字核对要轻量得多。这提醒我们，一个看似只是"效率优化"的技术选择，背后往往牵扯到整个训练流程能不能大规模、低成本地跑起来。

实验结果说了什么

论文在两个不同规模的模型上做了系统的验证：一个是80亿参数的Qwen3-VL-8B-Instruct，一个是40亿参数的Qwen3.5-4B。

先看最基础的对比：不做任何训练，直接把候选项和场景一起丢给模型（也就是JEFT方式），80亿参数模型的准确率只有28.1%。改成先推理后看选项的DEFT方式，同样不训练，准确率跳到了56.6%，几乎翻倍。这说明仅仅是调整信息呈现的先后顺序，不需要任何额外训练，就能带来巨大的提升，侧面印证了锚定偏差有多严重。

接下来看训练后的完整效果。经过DEFT-RLVR训练后，80亿参数模型的准确率进一步提升到77.9%，因果忠实度分数从0.431提升到0.658，高层决策一致性从0.425提升到0.501。40亿参数模型上的表现类似：准确率从65.6%提升到82.2%，忠实度和一致性分数也同步上涨。

更让人在意的是通用视觉能力有没有被牺牲掉。

这里有个容易被忽视的对比：论文测试了另一种更"暴力"的训练方式，直接用教师模型生成的答案去做监督微调（也就是蒸馏）。这种方式虽然能让自动驾驶相关的准确率冲得更高，比如80亿参数模型用混合目标蒸馏能达到84.1%的准确率，但代价是通用视觉能力平均分从54.81%掉到了51.80%，跌了整整三个百分点。

而用强化学习方式训练的DEFT-RLVR，不仅没有牺牲通用能力，反而略有提升：80亿参数模型的通用视觉能力平均分从54.81%涨到了56.09%，40亿参数模型从52.56%涨到了53.24%。

为什么强化学习和监督微调会有这么大的差异？

论文给出的解释是，监督微调本质上是逐字逐句地模仿教师模型的回答分布，这种"照抄"式的学习会把模型的整体输出习惯往一个特定方向拉扯，容易带偏原本积累的通用能力。而强化学习是基于模型自己采样出的回答去调整概率，只是略微增加或减少某个具体词句出现的可能性，属于更精细、更保守的调整方式，不会大幅度扭曲模型原有的知识结构。

这就像两种不同的学习方式：一种是让学生把老师的范文一字不差地背下来去应付考试，另一种是让学生自己写答案，只是每次针对写得好或写得不好的地方给一点点具体反馈去调整。前者短期内考试分数可能冲得更高，但学生自己的思考能力和其他学科的功底容易被这种死记硬背带偏；后者进步慢一些，但学生的整体素质是稳步扎实提升的，不会顾此失彼。

论文还测试了这套方法在完全没见过的新场景下表现如何，用的是另一个叫nuScenes的自动驾驶数据集，跟训练时用的数据来源完全不同。结果显示，未经训练的DEFT方式准确率是39.6%，DEFT-RLVR训练后提升到49.5%，因果忠实度和决策一致性也同步提升。这说明模型学到的不是某个特定数据集里的视觉套路，而是真正具备迁移能力的"看场景做决策"的推理逻辑。

论文还做了一个很有说服力的鲁棒性测试：固定场景和正确答案不变，只是重新生成候选项，把候选项数量从2个变到10个，候选项之间的相似程度也做了四档调整。结果在全部20种不同配置下，DEFT-RLVR都稳定超过没训练过的DEFT基线，提升幅度从4.4%到24.8%不等。这说明训练学到的能力不是靠死记硬背某一套特定的干扰项设计凑出来的，而是真的具备了在各种难度的选择题里辨别正确答案的能力。

一张写着"答案"的纸,该什么时候拿出来

回过头看整篇论文的逻辑线，其实讲的是一个很朴素的道理：什么时候把答案给出来，这件事本身会深刻改变学习的质量。

如果答案出现得太早，学习者会用答案去反推理由，看起来学到了东西，实际上只是学会了"如何在已知答案的情况下编一个说得过去的故事"。这个技能在有答案的情况下毫无破绽，一旦脱离了答案就会现出原形。

自动驾驶AI的训练暴露的正是这个问题：教师模型在有真值轨迹的情况下写出的推理文字，看起来逻辑通顺，实际上可能夹带了大量凭空编造的"证据"，因为它的真正任务已经不是推理，而是解释一个已知结果。

论文提出的解法是延迟这张答案纸的出场时机：先让模型独立做出判断，把这个判断白纸黑字记录下来，再让它去对照具体的候选方案。这个先决策后验证的顺序，某种意义上比具体用什么算法、什么模型架构更重要，因为它决定了整个学习过程到底是在锻炼真实的推理能力，还是在锻炼编故事的本事。

论文里还有一个数据让人印象很深：把开放式轨迹生成硬塞给语言模型去做，即便投入大量训练，误差依然稳定卡在1.96米左右，远高于理论下限的0.279米。这说明有些任务天生就不适合某种表达形式，硬做只会两头不讨好，既做不精细，还把模型原有的能力搭进去了。把这类任务转化成选择题的形式，反而是绕开硬骨头的聪明办法，不是逃避难题，而是换一种更适合工具本身特性的方式去解决问题。

这套思路能不能推广到自动驾驶之外的领域，是个值得继续琢磨的问题。任何需要AI做出决策并给出理由的场景，比如医疗诊断建议、金融风控判断，理论上都存在类似的锚定风险：如果训练数据里"结论"总是先于"证据"出现，AI学到的很可能只是一套自圆其说的话术，而不是真正的判断力。

Q&A

Q1：DEFT-RLVR解决的核心问题是什么？

A：DEFT-RLVR要解决的是自动驾驶AI训练中的轨迹锚定偏差问题。以往训练AI写驾驶推理时，通常会提前告诉AI真实的行车轨迹结果，导致AI只是在为已知答案编造理由，而不是真正从路况画面推断决策，这会让推理过程逻辑不忠实，还会大幅增加编造虚假证据的概率。

Q2：AD-MCQ是怎么把开放式轨迹生成变成选择题的？

A：AD-MCQ先用K-means聚类算法把约51万条真实行车轨迹归纳成8192种典型运动模式原型，每个新场景的真实轨迹会匹配到最接近的原型作为标准答案，再挑选5个具备迷惑性的干扰项凑成6个选项，让AI从中选择，从而避免了让语言模型直接生成精确坐标带来的困难。

Q3：DEFT-RLVR训练后会不会损害AI原有的通用视觉能力？

A：不会，实验显示用监督微调蒸馏方式训练虽然能让自动驾驶准确率冲得更高，但通用视觉能力平均分会明显下降。而DEFT-RLVR采用强化学习训练，不仅提升了自动驾驶推理准确率和因果忠实度，通用视觉能力平均分还略有提升，实现了两者兼顾。