慕尼黑工大突破：AI模型预测自动驾驶风险

这项由德国慕尼黑工业大学自主车辆系统教席团队领导的研究发表于2025年9月的计算机科学期刊，论文编号为arXiv:2509.25944v1。研究团队成员包括袁高、马蒂亚·皮奇尼尼、罗伯托·布鲁斯尼基、张雨晨和约翰尼斯·贝茨，这些研究者隶属于慕尼黑工业大学工程设计学院和慕尼黑机器人与机器智能研究所。有兴趣深入了解的读者可以通过该论文编号查询完整论文。

把自动驾驶汽车比作一个新手司机，虽然它们的"眼睛"（摄像头和传感器）已经相当敏锐，能够识别路上的行人、车辆和交通标志，但在预测危险这件事上，它们就像缺乏经验的驾驶员一样，往往只能做出笼统的判断——要么过度谨慎地紧急刹车，要么对潜在风险反应迟钝。现在，慕尼黑工大的研究团队开发出了一套名为NuRisk的训练系统，就像为自动驾驶汽车配备了一位经验丰富的"交通风险预言家"。

这套系统最特别的地方在于，它不仅能识别当前道路上的危险情况，更重要的是能够预测未来几秒钟内各个车辆的风险程度。就好比一位资深驾驶教练坐在副驾驶位置上，不仅能告诉你"前面那辆车可能有危险"，还能精确地说出"那辆车在1.5秒后会造成碰撞风险，危险等级为3分"。这种量化的、时空结合的风险预测能力，是目前自动驾驶技术中极为稀缺但又至关重要的能力。

一、传统自动驾驶的"盲区"：只看眼前，不知未来

现在的自动驾驶汽车就像一个只会按部就班的机器人管家。它们非常擅长执行既定的规则，比如看到红灯就停车，发现障碍物就绕行，但是面对复杂多变的交通情况时，就显得力不从心了。

当前的自动驾驶系统通常采用模块化的工作方式，就像工厂流水线一样，感知模块负责"看"，预测模块负责"猜"，规划模块负责"决定"，控制模块负责"执行"。这种分工明确的方式在常规情况下工作得很好，但遇到那些罕见的、复杂的交通情况时，比如突然有行人闯红灯，或者前方车辆做出意外变道，这些模块之间的配合就可能出现问题。

更重要的是，现有的系统在评估风险时往往只能给出定性的判断，比如"这里很危险，请小心驾驶"或者"建议降低车速"。这就像一个医生只能告诉病人"你的身体不太好，要注意休息"，而不能具体说明哪里有问题、严重程度如何、预计什么时候会恶化。这种模糊的评估方式导致自动驾驶汽车要么过分保守，在完全安全的情况下也频繁刹车，要么在真正危险的时候反应不够及时。

近年来，大型语言模型和视觉语言模型的兴起为解决这个问题带来了新的希望。这些模型就像拥有丰富驾驶经验的老司机，不仅能理解复杂的交通场景，还能进行灵活的推理。然而，当研究人员尝试将这些先进的AI模型应用到自动驾驶的风险评估中时，发现它们虽然能够识别潜在危险，但在提供量化的、具体的风险评估方面仍然表现不佳。

二、NuRisk的诞生：给AI装上"时空透视镜"

为了解决这个问题，慕尼黑工大的研究团队开发了NuRisk数据集，这个数据集就像一个巨大的驾驶经验库，包含了290万个场景和110万个具体的风险评估样本。这些数据不是凭空产生的，而是基于三个重要的数据源精心构建的。

第一个数据源是nuScenes数据集，这是一个著名的自动驾驶数据库，包含了大量真实世界的驾驶场景。研究团队从中选取了850个具有代表性的场景，这些场景涵盖了城市驾驶中常见的各种情况。第二个数据源是Waymo开放数据集，研究团队从中提取了1000个场景，这些场景主要来自Waymo公司在实际路测中收集的数据。第三个数据源比较特殊，是通过CommonRoad模拟器生成的1000个安全关键场景，这些场景专门设计来模拟那些在真实世界中很少发生但却极其危险的情况，比如多车连环碰撞的前兆。

NuRisk的独特之处在于它采用了鸟瞰视角的图像序列。想象你是一个交通管制员，站在高塔上俯视整个路口，你可以同时看到所有车辆的位置、速度和运动轨迹。这种视角比传统的车载摄像头视角更加全面，能够更好地理解整个交通场景的动态变化。

更重要的是，NuRisk为每个交通参与者都提供了量化的风险评估。研究团队开发了一套基于物理原理的风险计算方法，就像给每辆车都配备了一个精密的"危险探测器"。这个探测器会实时计算两个关键指标：到达碰撞点的距离（DTC）和到达碰撞的时间（TTC）。通过这两个指标，系统可以为每个交通参与者分配一个0到5的风险等级，其中0表示极高风险（可能即将碰撞），5表示基本安全。

三、训练AI成为"风险预言家"：从看图到预测未来

传统的AI视觉模型就像一个只会看静态照片的观察者，而NuRisk训练出的模型更像一个能够观察动态影片并预测剧情发展的分析师。这种转变需要让AI学会三种核心能力：空间推理、时间推理和量化评估。

空间推理能力让AI能够理解不同车辆之间的相对位置关系。比如，当一辆车正在变道时，AI需要判断它与相邻车道上车辆的距离是否安全，变道轨迹是否会与其他车辆产生冲突。这就像教会AI成为一个立体几何专家，能够在三维空间中精确计算各种运动物体的位置关系。

时间推理能力则让AI能够预测未来的发展趋势。这不仅仅是简单的轨迹预测，更重要的是理解各种交通行为的时间演化规律。比如，当一辆车开始减速时，AI需要判断这是正常的交通流调节还是紧急制动的前兆，以及这种行为会在多长时间内影响周围其他车辆。

量化评估能力是NuRisk最重要的创新点。传统的AI模型可能会说"这个情况很危险"，而NuRisk训练的模型会说"这辆蓝色轿车在接下来的2.5秒内发生碰撞的概率为65%，风险等级为2"。这种精确的量化评估为自动驾驶系统的决策提供了可靠的数据支撑。

为了让AI学会这些能力，研究团队设计了一套巧妙的训练方法。他们将复杂的风险评估任务转换成了问答的形式，就像让AI参加一场关于交通安全的考试。AI需要观看一系列连续的鸟瞰图像，然后回答诸如"图中红色车辆的当前风险等级是多少"或"蓝色车辆在未来3秒内的碰撞距离是多少米"这样的问题。

这种训练方式的妙处在于，它不仅让AI学会了识别和分类，更重要的是学会了推理。AI需要综合考虑车辆的当前位置、运动速度、加速度变化以及周围环境的动态变化，然后通过复杂的时空推理得出风险评估结果。

四、令人震惊的测试结果：顶级AI也会"看走眼"

研究团队对当前最先进的AI模型进行了全面的测试，结果令人大吃一惊。这些被誉为"最聪明"的AI模型，包括Google的Gemini系列和OpenAI的GPT系列，在面对真实的交通风险评估任务时表现得就像刚学会开车的新手一样。

测试中最优秀的模型是Gemini-2.5-Pro，但即使是这个在其他任务中表现卓越的模型，在NuRisk数据集上的准确率也只有33%。这意味着在10次风险评估中，有近7次都是错误的。更令人担忧的是，当研究人员测试这些模型的时空推理能力时，发现它们在预测车辆未来位置和碰撞时间方面的表现几乎为零，就像完全失明的人在描述未来的景象一样。

这种糟糕的表现并不是因为这些AI模型本身有问题，而是因为它们缺乏专门针对交通场景的训练。就像一个从未学过医学的人无法准确诊断疾病一样，这些通用的AI模型虽然在语言理解和图像识别方面表现优秀，但在特定的交通风险评估任务上缺乏必要的专业知识。

更有趣的是，当研究人员为这些模型提供额外的物理信息，比如车辆的精确位置、速度和加速度数据时，它们的表现有了显著改善。Gemini-2.5-Flash在获得这些额外信息后，准确率从33%跃升至92%。这就像给一个近视的人配上眼镜后，他突然能够看清远处的细节一样。

然而，这种改善主要体现在商业模型上，而开源模型即使获得了相同的额外信息，表现提升也很有限。这主要是因为开源模型的上下文处理能力有限，无法有效处理大量的文本化物理数据。此外，商业模型的响应时间也大大增加，从原来的几十毫秒增加到了数百毫秒，这对于需要实时决策的自动驾驶系统来说是一个严重的问题。

五、专门定制的"风险专家"：NuRisk VLM代理的诞生

面对现有AI模型的局限性，研究团队决定从零开始训练一个专门用于交通风险评估的AI模型。这个模型被称为NuRisk VLM代理，就像培养一个专门研究交通安全的专家学者一样。

研究团队选择了Qwen2.5-VL-7B-Instruct作为基础模型，这是一个在多模态理解方面表现优秀的开源模型。然后，他们使用一种叫做LoRA（低秩适应）的技术对这个模型进行专门训练。这种技术就像给一个通才专家进行专业进修一样，在保留原有知识的基础上，专门强化特定领域的能力。

训练过程就像让一个医学院学生专门学习心脏病诊断一样。研究团队从NuRisk数据集中选取了5万个样本，让AI模型反复学习和练习。每个训练样本都包含一系列连续的交通场景图像和对应的风险评估答案。AI模型需要学会观察这些图像中车辆的运动模式，理解它们之间的相互影响，然后给出准确的风险评估。

训练过程采用了两种不同的配置：LoRA-64和LoRA-256，分别使用不同的参数设置来优化不同方面的性能。LoRA-256配置专注于最大化分类准确率，而LoRA-64配置则在准确率和推理能力之间寻求更好的平衡。

经过专门训练后，NuRisk VLM代理的表现令人刮目相看。LoRA-256版本的准确率达到了41.1%，虽然看起来不算很高，但要知道这已经比最好的商业模型提高了8个百分点，而且在没有额外物理信息输入的情况下达到了这个水平。

更重要的是，这个专门训练的模型展现出了真正的时空推理能力。在预测车辆未来位置方面，它的纵向准确率达到34.1%，横向准确率达到26.0%，而商业模型在这方面的表现几乎为零。在预测碰撞时间方面，模型的纵向准确率为27.0%，横向准确率为26.4%。虽然这些数字还不够完美，但它们表明AI模型确实学会了理解车辆运动的因果关系，而不是简单地进行模式匹配。

六、效率革命：更快更准确的实时风险评估

除了准确率的提升，NuRisk VLM代理在运行效率方面也实现了显著突破。专门训练的模型平均响应时间只需要10.2秒，比最好的商业模型快了四倍。这种速度提升对于自动驾驶应用至关重要，因为交通情况瞬息万变，延迟几秒钟可能就意味着事故的发生。

这种效率提升的实现依赖于几个技术创新。首先，专门的训练让模型学会了更直接、更高效的推理路径，不需要像通用模型那样进行复杂的多步推理。就像一个经验丰富的医生能够快速做出诊断，而实习医生可能需要查阅大量资料才能得出相同结论一样。

其次，模型的架构经过了优化，只保留了与交通风险评估相关的能力，去除了不必要的功能模块。这就像专门为赛车手定制的车辆，去掉了音响、空调等非必要设备，专注于提升速度和操控性能。

研究团队还发现，两种不同的训练配置各有优势。LoRA-256配置在准确率方面表现更好，适合对精度要求极高的场景。而LoRA-64配置虽然准确率稍低，但在时间推理能力方面表现更优，适合需要实时预测的应用场景。

七、突破性发现：AI终于学会了"预知未来"

NuRisk研究最重要的发现是证明了AI模型可以通过适当的训练学会真正的时空推理能力。这个发现的意义不仅仅在于技术层面，更在于它改变了我们对AI能力边界的认知。

在这项研究之前，业界普遍认为现有的视觉语言模型虽然在静态场景理解方面表现出色，但在动态预测方面存在根本性的局限。许多专家认为，要实现准确的时空推理，需要专门设计的神经网络架构或者复杂的物理仿真系统。

然而，NuRisk的研究结果表明，通过精心设计的训练数据和适当的训练方法，现有的视觉语言模型架构就能够学会复杂的时空推理能力。专门训练的NuRisk VLM代理不仅能够识别当前的风险状态，还能够预测未来几秒钟内风险的演化趋势。

这种能力的获得并不是简单的模式记忆，而是真正理解了车辆运动的物理规律和交通行为的因果关系。比如，当模型观察到一辆车开始减速时，它不仅能够识别这个行为，还能够推断出这种减速对后续交通流的影响，以及可能导致的连锁反应。

更有意思的是，研究团队通过详细分析发现，成功的关键在于训练数据的质量而非数量。NuRisk使用的训练样本虽然只有5万个，但每个样本都包含了丰富的时空信息和精确的标注。这就像培养一个专家，重要的不是让他阅读大量的普通书籍，而是让他深入研究高质量的专业文献。

八、现实意义：改变自动驾驶的游戏规则

NuRisk的研究成果对自动驾驶行业具有深远的影响。首先，它为自动驾驶系统提供了一种全新的风险评估方式。传统的系统只能给出"危险"或"安全"这样的二元判断，而NuRisk可以提供从0到5的精确风险等级，这让自动驾驶汽车能够做出更加精细化的决策。

比如，当系统检测到前方车辆的风险等级为3时，它可能会选择适度减速并增加跟车距离；而当风险等级达到1时，系统会立即执行紧急制动。这种精细化的风险评估能够显著减少不必要的急刹车，提升乘坐舒适性的同时保证安全性。

其次，NuRisk的时空推理能力为自动驾驶系统的路径规划提供了重要支撑。传统的规划算法主要基于当前时刻的交通状态，而有了时空推理能力后，系统可以预测未来几秒钟内各个车道的风险变化，从而选择最优的行驶路径。

更重要的是，这项研究为处理自动驾驶中的"长尾问题"提供了新思路。长尾问题是指那些发生概率很低但后果严重的特殊情况，比如突发的连环车祸或极端天气条件下的复杂交通状况。传统的基于规则或者统计学习的方法很难处理这些罕见情况，而具备时空推理能力的AI模型可能能够通过类比和推理来应对这些挑战。

从商业角度来看，NuRisk的研究成果也具有重要价值。目前，自动驾驶技术的商业化主要受限于安全性和可靠性问题。监管部门和公众对自动驾驶汽车的接受度很大程度上取决于它们在复杂情况下的表现。能够提供量化风险评估和预测能力的系统将更容易获得监管批准和市场认可。

九、挑战与局限：通向完美还有多远

尽管NuRisk取得了显著的进展，但研究团队也坦诚地指出了当前方法的局限性。最明显的问题是准确率仍然有待提高。41.1%的准确率虽然比现有方法有了大幅提升，但离实用化的要求还有相当距离。在安全关键的自动驾驶应用中，即使是10%的错误率也可能带来严重后果。

造成准确率限制的主要原因是交通场景的复杂性和不确定性。真实世界的交通环境包含了无数的变量：天气条件、路面状况、其他驾驶员的行为习惯、突发事件等等。即使是经验最丰富的人类驾驶员也无法做到100%准确地预测所有情况，更不用说AI系统了。

另一个重要挑战是数据的代表性问题。虽然NuRisk数据集已经包含了多种数据源和大量样本，但相对于真实世界交通场景的多样性来说仍然有限。特别是一些极端的交通情况，比如恶劣天气、道路施工、大型活动导致的交通拥堵等，在现有数据集中的代表性还不够充分。

计算资源的需求也是一个现实挑战。虽然NuRisk VLM代理比商业模型更高效，但对于车载计算平台来说，10秒的响应时间仍然太长。实用的自动驾驶系统需要在毫秒级别完成风险评估，这要求进一步的模型优化和硬件加速。

此外，如何将这种基于视觉的风险评估系统与现有的自动驾驶技术栈整合也是一个技术挑战。现有的自动驾驶系统通常依赖激光雷达、雷达和其他传感器的数据，如何将视觉语言模型的输出与这些传感器数据有效融合还需要进一步研究。

十、未来展望：向着更智能的交通世界迈进

尽管面临挑战，NuRisk开启的研究方向具有巨大的发展潜力。研究团队已经规划了多个后续研究方向，旨在进一步提升系统的准确性和实用性。

首先，他们计划大幅扩展NuRisk数据集的规模和多样性。目前的数据集虽然已经相当庞大，但要覆盖真实世界的所有交通场景还远远不够。团队正在与更多的自动驾驶公司和研究机构合作，收集更多样化的驾驶数据，包括不同地理区域、不同天气条件、不同交通密度下的场景。

其次，他们正在探索更先进的AI架构和训练方法。现有的LoRA微调方法虽然有效，但可能还没有充分发挥视觉语言模型的潜力。研究团队正在实验各种新的训练策略，包括多任务学习、对抗训练、强化学习等，希望能够进一步提升模型的推理能力。

在实用化方面，团队正在开发更轻量级的模型版本，旨在将响应时间从秒级降低到毫秒级，同时保持较高的准确率。这需要在模型架构、计算优化和硬件加速等多个层面进行创新。

更令人兴奋的是，NuRisk的研究成果可能会催生全新的交通管理模式。传统的交通管理主要依靠交通信号灯、摄像头监控等被动手段，而具备预测能力的AI系统可以实现主动的交通管理。比如，系统可以提前识别可能发生拥堵的路段，动态调整信号灯时序或者引导车辆选择替代路线。

从更宏观的角度来看，NuRisk代表了人工智能在安全关键应用中的一个重要突破。时空推理能力不仅对自动驾驶有价值，对于机器人导航、无人机控制、工业自动化等领域也具有重要意义。这项研究为AI在复杂动态环境中的应用开辟了新的可能性。

说到底，NuRisk虽然还不是完美的解决方案，但它向我们展示了AI在理解和预测复杂动态场景方面的巨大潜力。就像早期的计算机虽然体积庞大、功能有限，但为后续的信息革命奠定了基础一样，NuRisk可能正在为未来的智能交通系统奠定重要基石。

当我们展望未来时，可以设想这样的场景：自动驾驶汽车不再是孤立的智能个体，而是能够相互交流、协同预测的智能网络的一部分。每辆车都能够预测周围车辆的行为，并将这种预测能力与其他车辆分享，形成集体智慧。这种协同预测网络将大大提升整个交通系统的安全性和效率，最终实现真正智能、安全、高效的未来交通。

对于普通人来说，这意味着未来的出行将更加安全、舒适和高效。我们不再需要担心其他驾驶员的突然变道或者复杂路况的处理，因为AI系统已经能够提前预测并优化所有这些情况。交通事故将大大减少，通勤时间将更加可预测，出行体验将得到根本性的改善。当然，这个未来还需要时间来实现，但NuRisk已经为我们指明了前进的方向。

Q&A

Q1：NuRisk数据集包含哪些内容，是如何构建的？

A：NuRisk数据集包含290万个场景和110万个风险评估样本，来源于三个部分：nuScenes的850个真实城市驾驶场景、Waymo的1000个路测场景，以及CommonRoad模拟器生成的1000个专门的危险场景。所有数据都转换为鸟瞰视角的连续图像，每个交通参与者都有0-5级的精确风险评分。

Q2：为什么现有的顶级AI模型在交通风险评估上表现很差？

A：即使是最先进的Gemini-2.5-Pro模型准确率也只有33%，主要原因是这些通用AI模型缺乏专门针对交通场景的训练。它们虽然在语言和图像识别方面很强，但不懂车辆运动规律和交通行为因果关系，就像让从未学过医学的人去诊断疾病一样。

Q3：NuRisk VLM代理相比商业AI模型有什么优势？

A：专门训练的NuRisk VLM代理准确率达到41.1%，比最好的商业模型提高8个百分点，而且响应速度快四倍。最重要的是它具备真正的时空推理能力，能够预测车辆未来位置和碰撞时间，而商业模型在这方面表现几乎为零。