香港大学团队如何让AI同时看懂、理解、预测和规划自动驾驶

这项由香港大学的刘哲、黄润辉、杨瑞等研究人员领导的研究发表于2024年12月的arXiv预印本平台，论文编号为arXiv:2512.12799v1。研究团队还包括来自银王智能科技有限公司、天津大学以及华中科技大学的合作者。有兴趣深入了解的读者可以通过该编号查询完整论文。

想象一下，你正在学开车。一位好的驾驶教练不仅要告诉你"现在有辆车在你前面"，还要解释"它正在以什么速度行驶"，"它接下来可能往哪个方向走"，最后才指导你"应该怎么操作"。传统的自动驾驶系统就像是由几个专业但各自为政的教练组成的团队：一个专门负责识别周围物体，一个专门预测未来情况，还有一个专门做驾驶决策。虽然每个教练都很厉害，但他们之间缺乏有效沟通。

香港大学的研究团队提出了一个革命性的想法：为什么不让一个超级智能的"全能教练"同时承担所有这些职责呢？他们开发的DrivePI系统就像是这样一位全能教练，能够同时进行空间理解、三维感知、未来预测和驾驶规划。这个系统最神奇的地方在于，它不仅能像传统系统一样精确地"看见"和"分析"，还能用人类的自然语言来解释它的每一个决定。

这项研究的创新性在于首次将粗粒度的语言理解与精细的三维感知能力结合在一起。DrivePI系统不仅能告诉你"前方有一辆红色轿车"，还能精确地告诉你这辆车占据了三维空间中的哪个具体位置，它正在以多快的速度朝哪个方向移动，以及基于这些信息应该采取什么驾驶行动。更令人惊讶的是，这个系统仅仅使用了一个只有5亿参数的语言模型作为核心，却在多个关键指标上超越了现有的专业系统。

一、传统自动驾驶的"分工困局"

要理解DrivePI的突破性，我们需要先了解现有自动驾驶系统面临的根本问题。当前的自动驾驶技术主要分为两大阵营，各有优势但也存在明显局限。

第一类是视觉-行动模型，简称VA模型。这类系统就像是一个技艺精湛但沉默寡言的老司机。它们能够非常准确地识别周围环境中的各种物体，预测这些物体的运动轨迹，并据此制定精确的驾驶计划。比如UniAD和VAD这样的系统，它们采用模块化的设计，像工厂流水线一样：先进行三维感知，然后预测未来变化，最后综合这些信息生成驾驶指令。这种方法的优势是精度很高，就像一位经验丰富的司机能够准确判断距离和速度。

然而，这些系统有一个致命弱点：它们无法用人类能理解的方式解释自己的决策过程。当系统突然刹车或者转向时，乘客往往一头雾水，不知道发生了什么。这就像与一位技术娴熟但完全不说话的司机共同驾驶，虽然他开得很稳，但你永远不知道他为什么要这么做。

第二类是视觉-语言-行动模型，简称VLA模型。这类系统就像是一位健谈的新手司机。它们最大的优势是能够用自然语言与人类交流，解释周围环境和自己的驾驶决策。比如OpenDriveVLA和ORION这样的系统，它们可以告诉你"前方路口有行人通过，我需要减速"，或者"左侧车道的车辆正在并线，我要保持距离"。这种交流能力让乘客感到安心，也让系统的决策过程变得透明可解释。

但是，VLA模型通常在精确度方面存在不足。它们虽然能够进行高层次的推理和交流，但在精确的空间感知和运动预测方面往往不如专业的VA模型。就像一位新手司机虽然会解释自己的想法，但在复杂路况下的判断可能不够准确。

这两类系统的对立就像是在精确度和可解释性之间的艰难选择。研究人员面临一个根本性问题：能否设计出一个系统，既具备VA模型的精确感知能力，又拥有VLA模型的语言交流能力？DrivePI正是为解决这个问题而生的。

更深层的挑战在于，现有的多模态大语言模型虽然在很多领域表现出色，但在自动驾驶这样需要精确三维感知的任务上仍有不足。它们擅长理解和生成文本，也能处理图像，但对于"这个位置的坐标是(70, 120, 15)，这里有一辆以特定速度运动的汽车"这样的精确空间信息，传统的语言模型就显得力不从心了。

二、DrivePI的"四维超能力"

DrivePI系统的设计哲学就像是培养一位既精通技术又善于沟通的全能驾驶教练。这个系统之所以被称为"四维"，是因为它不仅能处理三维空间信息，还加入了时间维度，形成了完整的时空理解能力。

DrivePI的核心架构就像是一个高度协调的指挥中心。整个系统的工作流程可以比作一位经验丰富的飞行员操控现代化飞机：首先通过各种传感器收集信息，然后由中央处理器进行综合分析，最终通过多个专门的控制系统输出不同类型的决策。

系统的输入端整合了多种感知方式。除了传统的多视角摄像头之外，DrivePI还特别强调了激光雷达的使用。如果说摄像头提供的是"彩色照片"般的丰富视觉信息，那么激光雷达提供的就是"三维建筑蓝图"般的精确几何信息。这两种信息的结合就像是让系统既能欣赏风景的美丽，又能精确测量每一个物体的位置和距离。

在处理这些输入信息时，DrivePI采用了一种创新的方法。系统首先使用先进的多模态视觉编码器处理来自摄像头和激光雷达的原始数据，将这些信息转换成一种叫做"鸟瞰图特征"的中间表示。这就像是将驾驶员座位上看到的复杂三维场景转换成GPS导航界面上那样的俯视图，但包含了更加丰富的细节信息。

接下来是一个关键的创新环节：空间投影器。这个组件的作用就像是一位优秀的翻译，它能够将视觉信息转换成语言模型能够理解的"词汇"。传统的方法往往简单粗暴地压缩空间信息，导致重要细节丢失。而DrivePI采用了一种更加精妙的方法，它不是简单地丢弃信息，而是使用交叉注意力机制来保留重要的空间细节。这就像是用高级相机的智能裁剪功能，既能压缩文件大小，又能保留画面中的关键元素。

DrivePI的"大脑"是一个相对小巧但高效的多模态语言模型。研究团队选择了Qwen2.5-0.5B作为基础模型，这个模型只有5亿个参数，相比其他动辄几百亿参数的大模型来说显得相当轻量。但就像一位技艺精湛的厨师能用简单的工具做出复杂的菜品一样，这个小巧的模型在经过精心训练后展现出了惊人的能力。

系统的输出端设计了四个专门的"决策头"，每个都负责不同类型的任务。文本头负责生成自然语言描述，就像是系统的"嘴巴"，能够用人类能理解的话语解释当前的驾驶环境和决策理由。三维占用头专门负责精确的空间感知，能够告诉你三维空间中每个位置是否被物体占据，以及是什么类型的物体。占用流头负责预测物体的运动轨迹，就像是能够预见未来几秒钟内环境的变化。行动扩散头则负责生成具体的驾驶轨迹，指导车辆如何行驶。

这四个输出头的协同工作就像是一个协调的乐队演奏。它们不是各自独立工作，而是在统一的指挥下协同运作。当系统遇到一个复杂路况时，文本头可能会说"前方左转车道有一辆大型卡车正在减速"，三维占用头会精确标出卡车在空间中的位置，占用流头会预测卡车的运动轨迹，而行动扩散头则会规划出一条安全的绕行路径。

三、突破性的数据训练引擎

DrivePI的成功很大程度上归功于其创新的数据训练方法。研究团队开发了一个多阶段的数据生成引擎，就像是为系统定制了一套全面的"驾驶教材"。

这个数据引擎的设计理念就像是编写一本从基础到高级的驾驶教学书。第一阶段专注于场景描述能力的培养。研究团队使用了InternVL3-78B这样的强大视觉语言模型来生成高质量的场景描述。但他们采用了一种巧妙的方法：分别为车辆前方和后方的视野生成独立的描述，然后再将这些描述合并成完整的环境描述。这种方法就像是让两个观察员分别观察不同方向，然后汇总他们的观察报告，这样能避免视角混乱，确保描述的准确性和完整性。

第二阶段是最具创新性的部分：四维空间理解能力的培养。研究团队利用真实的三维占用数据和运动流数据，生成了大量的问答对。这些问答就像是驾驶考试中的情景题，但更加具体和实用。比如系统会被问到"位置(70, 120, 15)处是否有物体占据？"或者"这个位置的物体正在以什么速度运动？"通过回答这些问题，系统逐渐学会了将抽象的语言描述与精确的三维空间信息联系起来。

第三阶段专注于驾驶决策和轨迹规划能力。研究团队基于真实的车辆未来轨迹数据，生成了大量关于驾驶策略的问答对。这些问题要求系统不仅要分析当前环境，还要提供具体的驾驶建议和预测未来的行驶轨迹。就像是在驾驶模拟器中反复练习各种路况，让系统在面对真实情况时能够做出合理的决策。

整个数据生成过程产生了超过100万对问答数据，包括84000个场景描述、560000个四维空间理解问答，以及24000个驾驶规划问答。这个数据规模就像是为系统提供了相当于几十万小时的驾驶经验，涵盖了从简单的直行到复杂的城市路口转向等各种驾驶情境。

更重要的是，这种训练方法实现了粗粒度语言理解与细粒度空间感知的有机结合。传统的方法往往将这两种能力分开训练，就像是分别训练一个会说话的人和一个会开车的人，然后指望他们能够完美配合。而DrivePI的训练方法从一开始就将这两种能力融为一体，让系统在学习语言表达的同时，也在学习精确的空间感知，反之亦然。

训练过程采用了端到端的优化策略，这意味着所有的能力都在同一个训练过程中协同提升。就像是学习一门外语时，同时练习听说读写，各种技能相互促进，最终形成综合的语言能力。这种训练方法确保了系统的各个组件不是简单的拼装，而是形成了一个有机的整体。

四、令人瞩目的性能突破

DrivePI在各项测试中展现出的性能让人印象深刻，特别是考虑到它只使用了5亿参数的轻量级模型作为核心。这就像是一位身材不高的运动员在各个项目上都击败了体型更庞大的对手。

在三维占用预测任务上，DrivePI在OpenOcc基准测试中取得了49.3%的RayIoU分数，这个成绩比之前的最优方法FB-OCC提升了10.3个百分点。这种提升幅度在计算机视觉领域相当显著，就像是在百米赛跑中提升了一秒的成绩。更令人惊讶的是，DrivePI甚至超越了专门为三维占用预测设计的ALOcc-Flow-3D系统，在综合评分上提升了6.3%。

在运动流预测方面，DrivePI将平均速度误差从0.591降低到0.509，这意味着系统对物体运动的预测更加准确。这种改进就像是天气预报的精度提升，虽然数字看起来变化不大，但实际应用中的效果差异却很明显。更准确的运动预测意味着自动驾驶系统能够更好地预判其他车辆的行为，从而做出更安全的驾驶决策。

在轨迹规划任务上，DrivePI的表现同样出色。与VAD系统相比，DrivePI将L2距离误差从0.72米降低到0.49米，这意味着车辆能够更精确地按照规划路径行驶。更重要的是，当加入了车辆自身状态信息后，DrivePI的碰撞率比ORION系统降低了70%，从0.37%下降到0.11%。这种安全性的提升在自动驾驶领域具有重要意义，因为即使是微小的碰撞率改善也能显著提高系统的实用性。

在语言理解能力方面，DrivePI在nuScenes-QA基准测试中达到了60.7%的准确率，比参数量高出十几倍的OpenDriveVLA-7B模型还要高出2.5%。这个结果特别值得关注，因为它证明了DrivePI不是通过牺牲语言理解能力来换取感知精度，而是真正实现了两种能力的协同提升。

更令人惊讶的是，当DrivePI专门针对三维占用任务进行训练时，它在Occ3D基准测试中达到了46.0%的RayIoU分数，超过了之前的最佳方法OPUS 4.8个百分点。这个结果证明了DrivePI的架构不仅适用于多任务场景，在专门任务上也能达到最先进的性能。

这些性能突破背后的关键在于DrivePI实现了不同任务之间的相互促进。传统方法中，语言理解和精确感知往往是相互制约的关系，就像是在跷跷板上，一端高了另一端必然要低。但DrivePI通过巧妙的设计，让这两种能力形成了相互促进的良性循环。语言理解能力帮助系统更好地整合空间信息，而精确的空间感知又为语言表达提供了更丰富的内容。

研究团队还进行了详细的消融实验，验证了系统各个组件的贡献。结果显示，当只启用文本输出头时，系统的语言理解准确率达到61.2%。当只启用视觉输出头时，系统在各项感知任务上仍能保持较好的性能。而当两种输出头都启用时，系统不仅在大多数任务上表现更好，还实现了更好的整体协调性。这证明了统一架构的优势，就像是一个训练有素的团队，每个成员都很专业，但团队合作时能发挥出更大的整体效果。

五、技术创新的深层解析

DrivePI的成功并非偶然，而是源于几个关键技术创新的巧妙结合。这些创新就像是解决复杂拼图的关键碎片，每一片都不可或缺。

首先是多模态融合策略的创新。传统的自动驾驶系统往往将摄像头和激光雷达的数据分开处理，就像是让两个专家各自分析同一个问题，然后再想办法整合他们的结论。DrivePI采用了更加深度的融合方法，在特征提取的早期阶段就将两种模态的信息结合起来。这种方法就像是让两个专家从一开始就坐在一起讨论问题，能够产生更加一致和准确的分析结果。

空间投影器的设计是另一个重要创新。传统方法在将视觉特征转换为语言模型输入时，往往采用简单的池化操作，这会导致大量空间细节的丢失。DrivePI采用的交叉注意力机制就像是一个智能的信息筛选器，它不是简单地压缩信息，而是根据重要性来保留关键细节。这种方法确保了即使在信息压缩的过程中，重要的空间信息仍然能够被保留下来。

损失函数的设计也体现了研究团队的深思熟虑。DrivePI需要同时优化四个不同的任务：文本生成、三维占用预测、运动流预测和轨迹规划。这就像是要让一个学生同时在数学、语文、物理和化学四个科目上都取得好成绩。研究团队通过精心设计的权重平衡策略，确保各个任务之间的训练不会相互干扰，而是相互促进。

更深层的创新在于DrivePI对"粗粒度"和"细粒度"理解的统一处理。传统的语言模型擅长处理抽象的、高层次的概念，比如"前方有车辆"或"需要减速"。而传统的视觉感知系统擅长处理具体的、精确的信息，比如"坐标(70, 120, 15)处有一个汽车类别的物体"。DrivePI的创新在于建立了这两种表示之间的桥梁，让系统能够在抽象思考和精确感知之间自由切换。

训练策略的设计也很巧妙。研究团队采用了两阶段训练方法：第一阶段专注于视觉-语言对齐，让系统学会将视觉信息转换为语言表示；第二阶段进行端到端的联合优化，让所有任务协同提升。这种方法就像是先让学生掌握基础知识，再进行综合能力的训练。

特别值得关注的是DrivePI在处理时序信息方面的设计。自动驾驶不仅需要理解当前的环境状态，还需要预测未来的变化。DrivePI通过占用流预测实现了对时序动态的建模，这让系统不仅能够回答"现在发生了什么"，还能回答"接下来会发生什么"。这种四维理解能力是传统静态分析方法所无法达到的。

研究团队还在数据增强方面做了大量工作。他们不仅使用了真实的驾驶场景数据，还通过精心设计的问答生成策略，创造了大量的训练样本。这些合成数据不是简单的随机生成，而是基于真实场景的智能变换和组合。这种方法就像是为学生提供了大量的练习题，这些题目虽然是人工设计的，但都基于真实的考试要求。

六、实际应用前景与挑战

DrivePI的成功为自动驾驶技术的发展开辟了新的可能性，但同时也面临着一些需要克服的挑战。这就像是一项新发明在实验室里证明了可行性，但要真正走向市场还需要解决许多实际问题。

从应用前景来看，DrivePI最直接的优势在于提升了自动驾驶系统的可解释性。传统的自动驾驶系统就像是一个"黑盒子"，乘客只能看到最终的驾驶行为，但不知道系统为什么要这么做。DrivePI能够用自然语言实时解释自己的决策过程，这对于建立用户信任和满足监管要求都具有重要意义。当系统告诉你"前方左侧车道的白色SUV正在减速，我需要保持安全距离"时，乘客会感到更加安心和信任。

在商业化方面，DrivePI的轻量级设计是一个重要优势。只有5亿参数的模型意味着更低的计算需求和更少的硬件成本。这就像是开发出了一款性能优秀但价格亲民的产品，能够让更多的消费者负担得起。对于汽车制造商来说，这意味着可以在不大幅增加成本的情况下为车辆配备高级的自动驾驶功能。

DrivePI还为自动驾驶的个性化定制提供了可能。由于系统具备自然语言交互能力，未来可以根据不同用户的偏好和需求来调整驾驶风格。比如有些用户偏好激进的驾驶风格，有些用户更注重平稳舒适，系统可以通过语言交互来理解和满足这些个性化需求。

在技术发展方面，DrivePI展示了多模态人工智能的巨大潜力。这种将语言理解和精确感知结合的方法不仅适用于自动驾驶，还可能在机器人导航、智能监控、增强现实等领域发挥重要作用。就像是发明了一种新的工具，它不仅能解决当前的问题，还能启发更多领域的创新。

然而，DrivePI也面临着一些挑战。首先是训练数据的质量和多样性问题。虽然研究团队生成了大量的训练数据，但这些数据主要基于nuScenes数据集，可能在地域、天气、交通规则等方面存在局限性。要让系统在全球不同地区都能良好工作，需要更加多样化的训练数据。

计算资源的优化也是一个持续的挑战。虽然DrivePI相比其他方法已经相当轻量，但在车载环境中仍需要进一步的优化。汽车的计算环境与数据中心差异很大，需要考虑功耗、散热、实时性等多个因素。

安全性和可靠性是自动驾驶技术面临的永恒挑战。虽然DrivePI在测试中表现出色，但要达到商业部署的安全标准，还需要经过更加严格的测试和验证。特别是在极端天气、复杂路况、突发事件等场景下的表现，需要大量的实际道路测试来验证。

研究团队也诚实地指出了当前系统的局限性。DrivePI目前采用的是相对简单的多任务学习策略，在平衡不同任务的权重方面可能不是最优的。此外，系统还没有整合强化学习技术，这可能限制了其在复杂决策场景下的表现。

监管和标准化也是重要的挑战。自动驾驶技术的部署需要符合各国的法律法规，而这些法规往往滞后于技术发展。DrivePI的可解释性虽然有助于监管审查，但如何建立统一的评估标准和认证流程仍然是一个复杂的问题。

七、未来发展的无限可能

DrivePI不仅仅是一个技术成果，更像是打开了一扇通向未来智能交通的大门。研究团队的工作为后续发展指出了多个令人兴奋的方向。

在技术架构方面，DrivePI证明了统一多模态架构的巨大潜力。未来的发展可能会在此基础上集成更多的传感器模态，比如毫米波雷达、红外相机、甚至是车联网信息。这就像是为系统安装更多的"感官器官"，让它能够获取更全面、更准确的环境信息。

强化学习的整合是一个特别值得期待的发展方向。当前的DrivePI主要依靠监督学习，通过模仿人类驾驶员的行为来学习驾驶策略。而强化学习可以让系统通过与环境的交互来自主优化驾驶策略，就像是从"照本宣科"进化到"举一反三"。这种能力对于处理训练数据中没有出现过的新情况特别有价值。

个性化和适应性学习是另一个充满潜力的方向。未来的DrivePI可能能够学习和适应不同用户的驾驶偏好，甚至能够根据具体的道路条件和交通环境来调整自己的行为模式。这就像是一位经验丰富的私人司机，不仅了解你的偏好，还能根据具体情况灵活调整。

在硬件优化方面，DrivePI的轻量级设计为边缘计算部署提供了可能。随着专用AI芯片和神经网络加速器的发展，未来可能实现更高效的车载部署。这不仅能降低成本，还能提高系统的响应速度和可靠性。

DrivePI的成功也为其他自主智能系统的发展提供了重要启示。无人机导航、机器人操作、智能监控等领域都可能从这种统一多模态架构中受益。这种跨领域的技术迁移就像是发现了一种通用的问题解决方法，能够在多个领域产生广泛影响。

在数据和训练方法方面，未来的发展可能会探索更加高效的数据利用方式。比如通过仿真环境生成大量训练数据，或者利用少样本学习技术来快速适应新环境。这就像是开发出了更加高效的学习方法，让系统能够用更少的数据学会更多的技能。

产业化的前景也十分广阔。DrivePI的技术可能会被整合到各种商业产品中，从高端豪华车的全自动驾驶功能，到普通家用车的驾驶辅助系统。甚至可能出现基于DrivePI技术的专业驾驶培训系统，帮助人类司机提高驾驶技能。

社会影响方面，DrivePI这样的技术可能会改变我们对交通出行的基本理解。当车辆不仅能够自动驾驶，还能与乘客进行自然对话，解释路况和决策时，出行体验将变得完全不同。这可能会影响城市规划、交通管理、甚至是社会交往方式。

国际合作也是未来发展的重要方向。DrivePI这样的基础技术需要全球研究者的共同努力来完善和优化。不同地区的道路条件、交通规则、驾驶习惯差异巨大，需要国际合作来建立更加全面和通用的系统。

说到底，DrivePI代表的不仅仅是技术的进步，更是向着真正智能交通系统迈出的重要一步。这个系统证明了机器不仅能够执行复杂的驾驶任务，还能够像人类一样理解和解释这些任务。虽然距离完全自主的智能交通还有很长的路要走，但DrivePI为我们指明了前进的方向，让我们看到了未来交通的美好可能。

研究团队的工作提醒我们，最好的技术创新往往来自于对现有方法局限性的深刻理解和对未来可能性的大胆想象。DrivePI的成功不是偶然的，而是源于研究者对问题本质的准确把握和对技术融合的创新思考。这种研究精神值得我们学习和发扬，无论是在人工智能领域还是在其他科技创新领域。

Q&A

Q1：DrivePI系统是什么，它有什么特别之处？

A：DrivePI是香港大学团队开发的自动驾驶AI系统，它的特别之处在于能同时进行四种能力：看懂环境、预测未来、规划路线和用人话解释决策。不像传统系统要么很准确但不会说话，要么会交流但不够精确，DrivePI用一个只有5亿参数的小模型就做到了两者兼备，在多个测试中超越了更大更专业的系统。

Q2：DrivePI的"四维理解"能力具体指什么？

A：DrivePI的"四维"指的是它能处理三维空间加时间维度的信息。具体来说就是：能精确知道三维空间中每个位置有什么物体，能预测这些物体接下来会怎么运动，能规划自己的行驶路径，还能用自然语言解释这一切。就像一个全能的驾驶教练，既能看见精确的位置和速度，又能预测未来变化，还能清楚解释每个决策的原因。

Q3：DrivePI比现有自动驾驶系统有哪些优势？

A：DrivePI的最大优势是同时具备了精确性和可解释性。在性能上，它的三维感知比之前最好的方法提升了10.3%，碰撞率比现有系统降低了70%，轨迹规划误差减少了32%。更重要的是，它能用人类语言实时解释自己的决策，比如"前方左侧有卡车在减速，我需要保持距离"，这让乘客更容易理解和信任系统的行为。