AI赋能的HMI敏捷开发——Qt框架如何重构舱驾融合新范式

2025年3月19日，在第五届中国汽车人机交互与体验设计创新大会上，Qt Group中国商务拓展经理高森介绍了Qt框架在汽车行业的广泛应用，特别是在智能座舱HMI设计方面。他指出，Qt支持的3D场景设计为车辆设置、控制、状态显示等提供了丰富的功能。

高森还详细阐述了Qt Design Studio在HMI创建流程中的重要作用。从二维素材导入、界面设计，到三维素材导入和3D场景设计，Qt Design Studio提供了一个完整的设计流程。此外，它还支持时间轴动画、状态管理、后期处理效果等功能，使设计师能够轻松创建逼真的用户界面。

他提到，Qt AI助手能够帮助开发人员提高编码效率，提供专家级的QML编程建议，并自动生成测试用例和代码文档。此外，Qt还在不断优化其AI工具，以满足更高的安全性和隐私保护要求。这些创新技术将共同推动HMI软件全生命周期的重塑和发展，为汽车行业带来更多的创新和可能性。

以下为演讲内容整理：

作为HMI框架，Qt的运作离不开硬件芯片及操作系统中间件的坚实支撑，我们积极与市场上主流的芯片制造商及操作系统提供商建立了稳固的合作关系。例如，对于高通与联发科等业界领先企业所推出的高性能芯片，我们都为其提供了展示先进技术的3D演示应用，旨在彰显其卓越性能。同时，我们也与一些历史悠久的汽车芯片供应商，如德州仪器、恩智浦、瑞萨电子等，维持着紧密的合作关系。

近期，国产化成为行业内热议的话题。当瑞芯微的RK3588、RK3576以及杰发科技的AC8025等芯片成功流片后，我们迅速响应，为这些芯片提供了Qt框架的适配方案。无论我们的客户或主机厂选择的是Linux+Android（L+A）方案、QNX+Android（Q+A）方案，还是其他创新方案，Qt作为一个跨平台的HMI框架，均能轻松运行于各类操作系统之上。正因如此，Qt已成为众多主流VM供应商以及Tier 1的首选。

近年来，HMI领域的一个显著发展趋势是围绕着3D技术的应用展开。随着车载计算平台算力，特别是GPU算力的显著提升，我们现在有能力实现极为生动和吸引人的视觉效果。然而，要高效利用GPU资源，必须将HMI框架与汽车制造商的操作系统深度整合，共同打造专属的3D系统。

以现代汽车为例，其旗下的现代、起亚和捷尼赛斯三大品牌均采用了Qt作为HMI开发框架。同时，我们还与现代汽车共同开发了互联操作系统，Connected Car OS。通过这一中间件，我们成功地屏蔽了底层操作系统和硬件芯片的差异，使得现代汽车集团及其供应商，如LG等，能够将精力集中在应用层的开发上，从而极大地降低了人力成本。

此外，通用汽车与我们建立了深入的合作关系，共同打造其下一代软件定义汽车平台——Ultifi。通用汽车近期与一家公司的合作中，采用了该公司的Safety Linux作为域控制器解决方案。在这个项目中，Qt不仅提供了常规的2D和3D渲染功能，还满足了ASIL B级别的安全渲染需求。

另外，Qt与梅赛德斯奔驰也有合作，最早可追溯至2013年。在奔驰最新的MB.OS及其相关系统中，Qt也发挥了重要作用。特别是在其HYPERSCREEN系统中，Qt的先进窗口管理技术被用作其界面支撑的核心技术之一。

我们不禁要问，Qt究竟提供了哪些独特价值，能够赢得这些国际知名OEM的青睐？首要原因便是Qt引擎的独特性——它是一个完整且统一的2D与3D渲染引擎。对于技术人员而言，采用单一的3D引擎进行开发时，往往会遇到这样一个难题：当需要在3D界面上叠加2D触控或操作元素时，这些2D内容往往无法由3D引擎直接提供，而需要引入第三方的2D解决方案。这种做法会导致2D与3D内容无法在同一渲染上下文中进行，从而引发同步与效率方面的问题。在Qt的引擎中，这些问题将不复存在。Qt提供了一个统一的设计工具，能够轻松应对2D与3D的渲染需求，无需担心上下文不一致的问题。

其次，Qt提供了灵活的渲染后端选择。针对不同类型的平台，开发者可以根据需要选择适合的渲染API，如Vulkan或OpenGL等，以满足特定的渲染需求。此外，Qt还面向设计师推出了一款低代码开发工具——Qt Design Studio。这款工具极大地简化了设计流程，设计师只需通过拖拽操作，即可轻松实现所见即所得的设计效果，无需编写复杂的代码。

另外是Qt在2D资产导入方面的优势。当前，设计师主要使用如Figma和Photoshop等工具进行原型设计。传统的工作流程中，设计师需要将设计稿交给程序员进行集成，这一过程往往繁琐且耗时。Qt通过Bridge插件，实现了设计资产的一键导入功能，设计师只需将设计稿导入到Qt Design Studio中，该工具便能自动生成相应的代码，极大地提高了工作效率。

其次，Qt还支持3D资产的便捷导入，设计师可以将常见的FBX等3D文件格式直接拖入Qt引擎中。Qt能够高度还原设计端的内容，包括材质、纹理、灯光效果，甚至动画，均能得到完美支持。此外，Qt还涵盖了常规的2D设计、3D设计、状态机管理、数据绑定以及时间轴动画等功能，特别是强大的动画系统，为设计提供了更多可能性。

为了进一步优化HMI效果，Qt还配备了针对后期特效处理的独立工具，使设计师能够轻松调整HMI的视觉效果。同时，Qt还提供了便捷的部署功能，设计师可以将设计作品直接部署到安卓设备或嵌入式板卡上，实时查看效果。由于Qt支持跨渲染API，设计师还可以将设计好的作品拖拽到浏览器中，利用Web技术直接在浏览器内播放设计，从而方便不同部门之间的工作协调与展示。

此外，我们还提供了一系列其他特性以满足多样化需求。鉴于国内中控系统主要以安卓为主，我们现已增加了对安卓原生环境的支持，开发者可以在安卓原生开发环境中，轻松地将Qt的渲染场景嵌入到Android Studio项目中，实现无缝集成。

另一个值得关注的特性是关于RenderingService，即多窗体渲染解决方案。我们通过后台运行的统一Qt渲染服务，能够支持多个窗体在不同场景下的渲染需求。我们不仅针对多窗体下不同视角的渲染进行了优化，还提供了一套完整的渲染生命周期管理方案，以及不同进程间的通信解决方案。这一创新功能预计将在Qt 6.12长周期版本中发布，为用户提供更为高效和灵活的多窗体渲染体验。

众所周知，仪表域对安全性的要求极高。Qt是目前市面上所有HMI解决方案中，唯一一款通过ASIL B级别渲染引擎认证的渲染引擎。我们凭借对硬件的支持，如高通DPU的校验功能，以及英飞凌单片机上的安全引导机制，成功实现了监控与安全渲染的综合解决方案。

除了拥有经过认证的安全渲染引擎外，我们对软件质量也始终保持着极高的追求。为此，公司收购了多款测试工具，旨在全面保障软件质量。这些工具涵盖了界面自动化测试、代码动态测试、代码静态测试以及软件架构测试等多个方面，确保整个软件生命周期内的可控性。通过这些工具，我们能够有效地监控和管理软件的开发过程，确保最终产品的稳定性和可靠性。

接下来探讨Qt在3D技术领域的演进，以及当前业界的相关发展趋势。目前，市面上主流的车型普遍配备了所谓的SR技术，它主要应用于ADAS场景中。在这种场景下，为了实现车道变换、周围环境重现等功能，需要展示自车模型、周围车辆模型、道路边缘、行人等元素，且这些元素需符合当前主流审美标准。此外，泊车场景、环视等功能也是当前市场竞争的焦点。

我们在今年CES上展示了一个demo，该demo展示了完全实时的渲染效果，通过不断提升GPU的计算能力，可以实现类似大型游戏级别的3D场景设计。这个智慧出行的demo不仅适用于车辆的自动驾驶领域，还可以拓展到航空、航天合成影像、大型游轮、农用机械等多个领域的自动驾驶渲染需求。

如果过度依赖硬件性能来展现3D效果，整个行业可能会陷入一种炫技式的恶性竞争。目前而言，车载芯片的算力上限以8295为代表，进一步提升GPU性能已不再是主流趋势。一个值得深思的问题是，这些炫酷的3D设计是否真的能直接提升车辆销量？在主机厂面临降本增效压力的背景下，我们或许需要探索其他途径来帮助主机厂实现既定目标。

针对这一现状，Qt提出了一些解决方案和思考。首先，在架构选型上，我们注意到一些车企正在采用LXC系统方案。这一方案能够省去某些中间层，同时稳定地复用安卓生态。具体而言，可以在一个容器内实现仪表域的功能，而在另一个容器内运行安卓域的应用。Qt作为一款轻量级且运行效率高的引擎，能够完美适配较低端的硬件平台，在面对需要高算力及复杂应用的场景时，Qt同样表现出色。

我们甚至可以将KDE的桌面系统移植到当前的主流硬件平台上，如联发科的8678等。我们已对此进行了POC，证明了其可行性。KDE作为一个在Linux领域广为人知的协会，其提供的KDE PlasmaLinux系统同样适用于嵌入式领域。

目前，我们已在高通和联发科等强大平台上实现了Linux桌面的定制化开发。这不仅使我们能够进行2D和3D渲染，还允许我们将游戏生态引入其中。一个典型的例子是Steam Deck，这款设备能够将PC上的游戏完全运行在一个小型的平板电脑上。未来，如果车机采用Linux桌面的解决方案，那么同样可以复用这一游戏生态，为车主提供更加丰富的娱乐体验。

我们始终强调，Qt不仅仅是一个HMI框架，更是一个具备高度兼容性的平台。下图左侧图片展示了在Figma中完成的2D设计，右下角则是Unity引擎构建的场景，通过简单的两行代码，Qt便能实现对Figma设计的支持以及Unity场景的集成。这一效果展示了Qt作为框架的灵活性，它能够打包成APK文件，通过Qt框架实现2D渲染，并与其他引擎无缝集成。事实上，许多车企已采用Qt作为框架基础，利用其进行2D渲染，并方便地复用素材到其他引擎中。

Qt作为一款开源编程语言，在互联网上拥有丰富的学习资源和文档。我们测试了主流的大模型对Qt编程语言的支持情况，结果令人惊喜。Qt Creator中的一个插件——Qt AI助手，目前能够实现的功能包括代码自动生成以及为现有代码提供专家级的建议。此外，它还能根据用户编写的代码生成相应的测试用例，主要以辅助编码的形式提供服务。

我们测试了通用大模型对Qt编程语言的支持情况，结果显示，通用大模型对Qt语言的支持度已经非常高。在官方测试的一百多个测试用例中，Cloud 3.5模型已经能够正确处理其中的66%。这一结果表明，AI在某种程度上已经能够替代中等水平以下的Qt程序员的工作。

关于大模型的集成，我们的插件支持市面上所有主流的大模型，包括DeepSeek等，同时也支持用户通过第三方API或私有云进行接入。特别地，针对对数据安全有极高要求的客户，如国防军工领域，我们提供了本地部署大模型的接入方式，确保数据在闭环内处理，不会上传至外部服务器。

最后，我们对未来进行一些展望。首先，AIGC是一个值得关注的领域，当前，图文视频类的扩散型大模型已经展现出极高的智能水平，例如通过Diffusion模型，我们可以实现文本生成图像、图像生成图像等功能。此外，3D扩散大模型也能根据描述生成3D模型。我们计划将这些大模型集成到Qt设计工具中，例如通过Bridge插件，用户可以轻松地将2D图片资源和3D模型导入到设计工具中，从而极大地提升设计效率和创造力。

另一个重要的应用方向是RAG技术，它允许我们构建本地知识库。对于Qt的资深用户而言，他们可以将自己过去积累的文档和项目经验整合成一个本地知识库，便于内部成员快速调用。我们官方也在积极推进这一方向，基于我们对Qt的深入理解，未来将打造一个官方知识库，用于生成帮助文档。

最后一个则是Agent形态，这是当前技术发展的一个热门方向。我们计划通过集成MCP协议，实现Agent的完全形态。届时，用户只需提出需求描述，Agent便能调用Qt全栈工具，自动生成2D或3D设计。

（以上内容来自Qt Group中国商务拓展经理高森于2025年3月19日在第五届中国汽车人机交互与体验设计创新大会发表的《AI赋能的HMI敏捷开发：Qt框架如何重构舱驾融合新范式》主题演讲。）