5.17世界电信日之际，高通公司分享终端侧AI如何赋能千行百业发展新机遇

在国际电信联盟成立160周年之际，中国通信学会主办的“2025世界电信与信息社会日系列活动”于5月16日-17日期间在江西南昌召开。今日，以“AI大模型赋能千行百业”为主题的系列活动之一，“AI与行业大模型应用专题研讨”召开。此次专题研讨聚焦“运营商AI与行业大模型布局”和“行业大模型实践与应用”两大板块，汇聚政府机构、科研院所及行业领军企业，共同解读了全球AI趋势与治理方向，探讨了AI大模型的技术前沿与行业实践。

高通技术公司产品管理副总裁姜波在“AI与行业大模型应用专题研讨”上发表了主题演讲。他阐述了高通公司作为终端侧AI领导者，如何以行业领先的终端侧AI软硬件技术、广泛的边缘业务布局和积极开放的生态合作，把握AI向推理时代迈进的重要行业变革机遇，推动AI应用在边缘及终端侧繁荣发展，加速AI技术与产业深度融合，赋能千行百业利用AI技术找到新的行业发展突破口，加速产业数字化转型，为产业发展带来全新动能。

以下是演讲内容全文：

各位嘉宾大家下午好！我是高通公司姜波。非常荣幸能够在国际电信联盟成立160周年之际，与大家相聚在南昌，共同探讨终端侧AI推理创新如何推动智能产业迎来全新发展机遇，并加速各行业对AI的规模化集成及用户体验的重塑。

今年年初，DeepSeek的推出引发了对AI模型训练方式的颠覆变革和重新评估，验证了AI即将从大规模训练向大规模推理转变的趋势，这将形成全新的终端侧推理计算的创新和升级周期。虽然模型训练仍将在云端进行，但模型推理将向终端侧转移。

AI模型训练成本的降低与开源合作相结合，使得更多开发者和组织能够开发高质量模型，并且小模型正逐渐接近前沿大模型的质量。尽管有人认为模型规模缩小会导致质量下降，但实际上，2024年来推出的众多先进的AI小模型已经具有卓越性能，能够达到甚至超越一年前推出的仅能在云端运行的更大模型。许多主流模型系列，如DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral，均已推出小模型版本，并在特定任务的性能和基准测试中表现出色。

蒸馏技术是开发高效小模型的关键，它能够在保持准确性的同时实现知识的转移。这一技术的应用推动了小型基础模型的激增，其中包括许多针对特定任务优化的模型。以DeepSeek为例，在其发布的一周内，就出现了多种新的蒸馏模型，如通义千问和Llama蒸馏模型。经过蒸馏的Llama模型性能显著提升，而DeepSeek的Qwen-7B蒸馏模型的性能已与去年最先进的GPT-4云端模型相当。

根据Epoch AI的数据，2024年发布的大规模AI模型中，超过75%的模型参数在千亿规模以下。量化、压缩和剪枝等技术有助于缩小模型规模，量化能降低功耗并在不明显影响准确性的情况下加速运算，剪枝则消除不必要的参数。将大型基础模型缩减为更小、更高效的版本，不仅能实现更快的推理速度、更少的内存占用和更低的功耗，同时可以保持较高的性能水平，从而使此类模型适合在智能手机、PC和汽车等终端上部署。

得益于高质量小模型数量的持续增加，如今，边缘及终端侧AI开发者在开发应用和AI智能体方面有着非常多样化的模型选择。从全球范围来看，我们既有Llama、Mistral、Phi这样的开源模型，还有百川、Gemini Nano、通义千问等闭源模型，这当中有一些模型也正在不断拥抱开源社区。此外，不同地区也在积极发展各自的AI模型，推出了各具特色的新型模型。与此同时，传统的计算机视觉和物体检测等领域所使用的模型，在特定应用场景下依然发挥着不可替代的作用。

随着当前模型的发展，我们观察到不同设备，包括手机、汽车、PC、XR和工业物联网设备等，在支持的模型参数规模方面展现出不同的能力。结合AI模型自身质量的不断提升，终端侧AI将具备更丰富的功能，如支持更长的上下文、提供个性化体验、实现多模态交互和处理并发模型等，这些都将极大地推动终端侧AI应用的创新与繁荣。

根据预测，2025年中国新一代AI手机市场出货量将达到1.18亿台，占整个市场的40.7%。[1]同时，2025年中国AI PC市场出货占比预计将从2024年的13%大幅上升至37%。[2]

作为终端侧AI的领导者，高通在人工智能领域有着超过15年的投入，拥有行业领先硬件和软件解决方案覆盖广泛终端，并且拥有跨NPU、CPU和GPU的卓越异构计算能力、领先的软件优化、以及能效。此外，我们还在全球范围内拥有领先的终端侧布局和高达数十亿的用户设备数量，覆盖智能手机、PC、汽车、XR、边缘网络设备等等。同时，我们也与众多生态合作伙伴共同推动AI技术的创新和应用。

2024年，高通与腾讯混元合作，基于骁龙8至尊版移动平台，共同推动腾讯混元大模型7B和3B版本的终端侧部署。这有助于腾讯混元大模型为广泛的业务场景提供技术支持，通过利用终端侧AI加速产品创新，并有效降低运营成本。

在硬件方面，高通长期致力于开发定制CPU、NPU、GPU和低功耗子系统，同时拥有封装技术和热设计的技术专长，这构成了我们行业领先的系统级芯片（SoC）产品的基础。通过异构计算系统，高通帮助开发者通过上层软件调用硬件核心组件进行AI加速，包括CPU、GPU、NPU和高通传感器中枢。其中，Oryon CPU面向即时性要求高的任务，Adreno GPU擅长图像和视频处理，Hexagon NPU适用于持续和泛在型任务，如计算摄影和大模型应用。而高通传感器中枢则针对那些对功耗敏感且需要始终保持在线的应用场景。

在软件工具支持方面，我们推出了高通AI软件栈，可以让模型在终端上完成端到端的部署和优化工作。高通AI软件栈支持所有开发者常用的AI框架、runtime、开发工具和操作系统。例如，我们支持ONNX、TensorFlow、PyTorch等主流AI框架，以及ONNX Runtime、Direct ML和TFLite等常用runtime，我们也给开发者提供了高通自己开发的runtime——高通AI引擎Direct，以供开发者调用前面介绍的各种硬件模块，对AI用例进行加速。此外，为了更好地支持开发者，我们去年推出了高通AI Hub，它能够帮助开发者选择相应平台和开发模型、编写应用，最后在不同类型的移动终端上进行部署。

除了高通AI软件栈和AI Hub，我们还推出了高通智能体AI规划器。高通智能体AI规划器作为高通AI软件栈的重要组成部分，位于应用和AI框架及runtime之间，为终端侧所有的AI功能提供所需的协调规划，是赋能下一代智能体AI体验的关键所在。

简而言之，这是一个用于意图理解、意图分发和域服务调动的端到端解决方案，涵盖了从最初的自然语言理解阶段，包括自动语音识别（ASR）和文本到语音转换（TTS）模块，到通过端侧智能体进行的意图理解和任务编排过程。在任务编排阶段，规划器能够调用端侧的各种工具，并利用端侧的个性化知识图谱和本地数据，从而让任务规划更为精确和高效。此外，在完成任务规划之后，规划器还支持多种后续的域服务，如音乐播放、天气查询、导航和订餐等功能。

随着AI在终端侧无处不在地运行，以应用为中心的体验正在改变。通过自然语言、图像、视频与手势的交互方式，AI智能体能够简化技术使用方法，预测用户需求，并在终端和应用内主动执行复杂的工作流程、进行决策和管理任务。也就是说，AI正在成为新的UI（用户界面），用户将不再需要打开特定的应用程序，AI智能体将作为新的交互方式服务于用户的所有计算终端。这不仅将改变单个应用，还将影响零售、餐饮等行业的客户体验逻辑，成为变革商业版图的新生力量。

今年，高通公司迎来成立40周年、深耕中国市场30年的重要里程碑。过去30年来，高通一直与中国的移动生态系统企业保持紧密合作。目前，我们正在携手更广泛的合作伙伴，充分利用端侧AI在性能、效率、响应速度和隐私保护方面的优势，共同把握产业发展机遇。

在智能手机方面，包括小米、荣耀、OPPO、vivo在内的厂商均已发布了搭载骁龙8至尊版移动平台的旗舰手机产品，支持丰富的生成式AI用例。在PC方面，预计到2026年将有超过100款搭载骁龙X系列计算平台的PC发布或正在开发中，覆盖华硕、宏碁、戴尔、HP、联想和荣耀等领先厂商。同时，我们持续与腾讯会议、有道、爱奇艺、字节跳动等ISV合作伙伴协作，为开发者提供工具和支持，把握AI PC的行业发展新机遇。在汽车领域，高通过去在多个场合展示了基于骁龙数字底盘解决方案运行的汽车端大模型和生成式AI用例。如今，理想、小鹏等中国车厂已基于高通第四代骁龙座舱平台发布了其车端的大模型功能。

站在新的起点上，高通将持续加强在可扩展硬件和软件方面的投入，并通过与模型厂商的紧密合作，赋能开发者在终端侧加速采用AI智能体和应用，让AI应用更加触手可及，推动AI技术在千行百业的应用。

[1]IDC：2025年中国智能手机市场十大洞察

[2]Canalys：预计大中华区AI PC渗透率2024年达13%，2025年达37%

2024年，高通与腾讯混元合作，基于骁龙8至尊版移动平台，共同推动腾讯混元大模型7B和3B版本的终端侧部署。这有助于腾讯混元大模型为广泛的业务场景提供技术支持，通过利用终端侧AI加速产品创新，并有效降低运营成本。

在硬件方面，高通长期致力于开发定制CPU、NPU、GPU和低功耗子系统，同时拥有封装技术和热设计的技术专长，这构成了我们行业领先的系统级芯片（SoC）产品的基础。通过异构计算系统，高通帮助开发者通过上层软件调用硬件核心组件进行AI加速，包括CPU、GPU、NPU和高通传感器中枢。其中，Oryon CPU面向即时性要求高的任务，Adreno GPU擅长图像和视频处理，Hexagon NPU适用于持续和泛在型任务，如计算摄影和大模型应用。而高通传感器中枢则针对那些对功耗敏感且需要始终保持在线的应用场景。

在软件工具支持方面，我们推出了高通AI软件栈，可以让模型在终端上完成端到端的部署和优化工作。高通AI软件栈支持所有开发者常用的AI框架、runtime、开发工具和操作系统。例如，我们支持ONNX、TensorFlow、PyTorch等主流AI框架，以及ONNX Runtime、Direct ML和TFLite等常用runtime，我们也给开发者提供了高通自己开发的runtime——高通AI引擎Direct，以供开发者调用前面介绍的各种硬件模块，对AI用例进行加速。此外，为了更好地支持开发者，我们去年推出了高通AI Hub，它能够帮助开发者选择相应平台和开发模型、编写应用，最后在不同类型的移动终端上进行部署。

除了高通AI软件栈和AI Hub，我们还推出了高通智能体AI规划器。高通智能体AI规划器作为高通AI软件栈的重要组成部分，位于应用和AI框架及runtime之间，为终端侧所有的AI功能提供所需的协调规划，是赋能下一代智能体AI体验的关键所在。

简而言之，这是一个用于意图理解、意图分发和域服务调动的端到端解决方案，涵盖了从最初的自然语言理解阶段，包括自动语音识别（ASR）和文本到语音转换（TTS）模块，到通过端侧智能体进行的意图理解和任务编排过程。在任务编排阶段，规划器能够调用端侧的各种工具，并利用端侧的个性化知识图谱和本地数据，从而让任务规划更为精确和高效。此外，在完成任务规划之后，规划器还支持多种后续的域服务，如音乐播放、天气查询、导航和订餐等功能。

随着AI在终端侧无处不在地运行，以应用为中心的体验正在改变。通过自然语言、图像、视频与手势的交互方式，AI智能体能够简化技术使用方法，预测用户需求，并在终端和应用内主动执行复杂的工作流程、进行决策和管理任务。也就是说，AI正在成为新的UI（用户界面），用户将不再需要打开特定的应用程序，AI智能体将作为新的交互方式服务于用户的所有计算终端。这不仅将改变单个应用，还将影响零售、餐饮等行业的客户体验逻辑，成为变革商业版图的新生力量。

今年，高通公司迎来成立40周年、深耕中国市场30年的重要里程碑。过去30年来，高通一直与中国的移动生态系统企业保持紧密合作。目前，我们正在携手更广泛的合作伙伴，充分利用端侧AI在性能、效率、响应速度和隐私保护方面的优势，共同把握产业发展机遇。

在智能手机方面，包括小米、荣耀、OPPO、vivo在内的厂商均已发布了搭载骁龙8至尊版移动平台的旗舰手机产品，支持丰富的生成式AI用例。在PC方面，预计到2026年将有超过100款搭载骁龙X系列计算平台的PC发布或正在开发中，覆盖华硕、宏碁、戴尔、HP、联想和荣耀等领先厂商。同时，我们持续与腾讯会议、有道、爱奇艺、字节跳动等ISV合作伙伴协作，为开发者提供工具和支持，把握AI PC的行业发展新机遇。在汽车领域，高通过去在多个场合展示了基于骁龙数字底盘解决方案运行的汽车端大模型和生成式AI用例。如今，理想、小鹏等中国车厂已基于高通第四代骁龙座舱平台发布了其车端的大模型功能。

站在新的起点上，高通将持续加强在可扩展硬件和软件方面的投入，并通过与模型厂商的紧密合作，赋能开发者在终端侧加速采用AI智能体和应用，让AI应用更加触手可及，推动AI技术在千行百业的应用。