百度智能云发力大模型技术

随着科技的不断进步，数字化与智能化技术正在逐步改变我们的世界。在自动驾驶领域，数字化和智能化技术的使用使车辆能够更好地感知环境、做出决策和控制车辆，更精确、更智能、更高效是我们对未来生活不断的追求。

8月24日，百度智能云、NVIDIA携手ICVS中国自动驾驶博览会在上海举办“数驱变革、智驾未来 ”百度智能云自动驾驶高峰论坛。演讲环节，与会专家围绕自动驾驶领域数字化与智能化技术与实践进行交流分享。会议同期举办以“大模型助力自动驾驶”为主题的圆桌论坛，百度智能云与来自NVIDIA、武汉光庭信息技术股份有限公司、千挂科技、智协慧同等企业共同探讨大模型时代自动驾驶营运场景、领先技术、优质产品与方案，助力行业伙伴共同“乘科技之风、破自动驾驶创新之浪”。

1“云智一体”带来大模型时代新的发展机遇

在自动驾驶等级不断提升，智慧交通智能化水平跃进的过程当中，人工智能、大数据、云计算等技术扮演者越来越重要的角色。尤其是在人工智能技术发展的浪潮之下，大模型技术因其具有强大的泛化能力和创新性，已成为推动数字经济与实体经济深度融合的重要因素，能够带来经济社会发展和产业的深刻变革，为实体经济注入强劲动力。在自动驾驶领域，从感知侧、模型侧、执行侧，大模型都发挥着越来越重要的作用，使得自动驾驶等级不断提高、自动驾驶体验不断优化、道路交通安全等级不断提升。

百度智能云提供的自动驾驶行业整体解决方案，依托“云智一体”的战略及技术优势，从芯片层、框架层、模型层、应用层，百度智能云紧扣自动驾驶领域的业务场景、行业需求特征，布局了从业务侧到资源侧的完整解决方案，包括端到端的数据闭环、贯穿研发流程的工具链、为工具链提效的大模型、以及为全流程提供强大算力支持的 AI 大底座，满足从 L2 到 L4 的研发需求，加速自动驾驶业务落地。

百度智能云泛科技行业总经理【张玮】

2百度智能云与NVIDIA携手，不断实现模型优化

AI大模型技术与自动驾驶领域的融合发展，数字化和智能化时代为汽车和自动驾驶行业带来了前所未有的机会。百度智能云携手NVIDIA对17个感知模型的训练进行了优化，最高可达到400%的训练吞吐提升，缩短80%的训练时间。这些模型覆盖了自动驾驶场景中周围环境感知、行驶条件、交通状况和障碍物的预测等多样传感器和多传感器融合方案，相关训练加速的技术手段已经集成到百度百舸的AI加速套件AI Accelerate Kit（AIAK）中，为百度智能云的客户提供极致加速。双方沉淀的优化方法还将帮助更多行业提升模型训练效率，加速产业智能化升级。

NVIDIA资深解决方案架构师【金国强】

3大模型助力自动驾驶典型业务场景智能化升级

从智协慧同的角度来看，大模型的诞生和落地应用，将会对后续汽车行业的数据底座应用带来革命性的冲击。

在数据获取层面，我们可以从传统的corner case触发数采解放出来，不再通过一个个的trigger设置来触发数据回传，整车的数据接入到大模型中，可以实时检测感觉不对劲的数据，将重要程度高的数据打上标签与重要等级后，上传云端或落盘存储，从而从根本上改变了数据回传的逻辑；

在数据使用分析层面，我们摆脱了数据传云端后手动统计，手动数据分析的局面，大模型具备主动统计和提炼数据的能力，从而极大的提升了数据价值释放的效率；

在数据智能化层面，大模型可以针对汽车数据来做专门的训练，从而转变成一名汽车数据行家，针对各种问题都可以从车端的数据中分析得到原因所在；除此之外，大模型还可以利用实时获取的汽车数据不断迭代自身能力，逐步成长为更加专业化、智能化的汽车专家。

另外，大模型可以针对自动驾驶的功能或舒适度进行实时评价，反馈给主机厂或车主做参考；传统的影子模式等实现方式也随着大模型的落地，可以更便捷的实现。

智协慧同合伙人兼副总裁【牛国浩】

自动驾驶感知、定位、规控算法等方面都有很好优化升级应用。针对这些问题，光庭信息CTO项锋表示，光庭信息早在2021年就提出超级软件工场，利用人工智能赋能软件工程的各个环节，形成以智能化为驱动力的软件开发体系。结合业务数据和行业知识库，形成以智能化为驱动力的软件开发体系。超级软件工场的建设提升了光庭软件工程效率，间接提高自动驾驶感知、定位，规控算法的开发和迭代效率。

武汉光庭信息技术股份有限公司CTO【项锋】

在自动驾驶、软件定义汽车、汽车网联的时代，汽车的配置变得复杂化，个性化。汽车领域的知识库变得异常复杂。博世借力百度智能云等平台的大语言模型技术，将博世自己的知识库解决方案进行全新升级，智能内容、关系抽取，自动化知识库的建立过程，维持了更高的知识库质量、运维能力，降低了知识库的建设运维成本。

博世汽车服务技术有限公司高级架构师【夏澎】

大模型对自动驾驶的助益，我们认为至少可以在两个层面：

首先是离线端，如利用文本或多模态大模型进行数据挖掘、自动标注等等。在很多时候，数据的挖掘和有效利用其实比数据采集更有挑战，也更关键。大模型的应用可以帮助更好的解决上述问题，大大提升我们车载模型的研发效率。

其次是车载端，即直接研发车载系统可运行的自动驾驶端到端大模型，从而颠覆现有的车载自动驾驶软件结构范式和研发范式，尤其是其泛化能力有助于解决困扰行业已久的各种长尾 corner case 问题。当然，车载端应用大模型的挑战更大，想要落地还需要大家共同的探索，但可以确定的是，它对车端算力提出了明显更高的要求。千挂选择了在车端使用类 PC 的架构，搭配上千 TOPS 的算力，这样的好处是为将来在车端直接进行大模型的推理奠定了良好的基础。

千挂科技AI工程总监【张翼】