提到手机里的NPU,大多数人的第一反应是"算得快"。跑分高、出图快、语音识别不卡顿,这些确实是NPU的功劳。但骁龙新一代旗舰移动平台发布后,官方博客里对全新Hexagon NPU的描述,用的却不是"算力提升多少倍"这种句式,而是把重点放在了一个更根本的转变上——NPU的角色,正在从执行单个模型的推理单元,变成调度多个应用模型的协调中枢。
这个说法听起来有点绕,但拆开看其实很具体。高通技术公司产品市场高级总监Cisco Cheng在署名博客里给出了一个判断:随着AI智能体应用的深入,终端侧的任务不再依赖单一大模型处理所有任务,而是由多个应用模型组成的系统,根据任务、场景和用户需求进行智能调度。这句话,是理解新一代Hexagon NPU全部设计逻辑的钥匙。
![]()
NPU这个概念,最早就是高通提出来的
很多人不知道,Neural Processing Unit(NPU)这个概念,最初就是高通提出的。2013年,高通发布了一个名为Zeroth的独立NPU项目,目标直接定义了一种全新的处理架构——神经处理单元。到2015年的骁龙820,高通已经把研究落地为实际能力,Hexagon 680 DSP实现了基于摄像头的计算机视觉感知、低功耗音频侦测和本地场景软件行为分析、全时开启的传感器数据处理、随时在线的语音侦测。这些功能在当时的手机上是足够超前的,放到现在也不过时。
2018年的骁龙855是另一个节点。高通在Hexagon 690中首次加入独立的张量加速器,让NPU正式具备针对深度学习模型的专用加速能力。从这一代开始,Hexagon NPU的架构轮廓逐渐清晰。
正是在这条路上走了很久,高通对于NPU应该怎么设计、如何使用,形成了自己的想法。这次新一代平台的升级,可以看作是把这些想法集中兑现了一次。
升级的两个层面:计算更强,调度更顺
根据高通公司信息显示,NPU的改进集中在两个层面。
第一个层面是Element Accelerator,让NPU学会"协调"。这是新一代Hexagon NPU最核心的变化。传统NPU的设计重心在"算",把矩阵乘法做快。但智能体需要的不仅是"算",还需要"想",在推理过程中选择走哪条路径、调用哪个工具、下一步做什么决策。Element Accelerator让NPU第一次同时具备高效计算和智能调度两类能力,搭配Fast Action Loops和KV-Cache缓存,支持最长32K的上下文长度。
第二个层面是共享内存扩容50%,让数据留在该留的地方。端侧大模型推理有一个很直观的工程现实:解码阶段的瓶颈往往不在计算,而在数据搬运。模型权重、上下文KV缓存,都需要读取和保存对话上下文。如果NPU的内存空间不足,数据就必须在NPU与主内存之间频繁拷贝,推高时延和功耗。共享内存扩容后,更多数据留在NPU内部,减少DDR访问频次。用高通的话说,这让智能体在处理更长上下文、调用更多工具以及执行并行任务时,始终保持流畅响应。
在模型层面,新一代NPU支持在终端侧运行300亿参数的MoE模型,每次推理仅激活约30亿个被路由选中的参数。配合从INT2到FP16的九种精度策略,开发者可以根据任务复杂度灵活平衡性能、功耗和内存。对于INT4精度模型,预填充性能最高提升50%,40亿参数模型首个词元的生成时间低于1.5秒。
不只是参数的事,更是在为端侧AI铺路
自智能手机出现"AI"概念以来,已经有些年头。但大多数用户真正用过的AI功能,几乎都是后台服务——第三方应用绝大多数时候仍然依赖于云端处理,很少调用设备的端侧算力。根本原因在于,云端与端侧AI性能能力差太大,开发者不敢轻易把端侧AI在大众应用中落地。
高通显然看到了这个问题。新一代Hexagon NPU支持多种精度策略,本质上是为开发者提供更大的灵活度;而九种精度模型和整体推进MoE架构,则是为了以整体的内存需求实现更大的模型体验。这些技术如果能"下放"到更多设备,受益的将不仅是新一代旗舰。
更值得关注的是高通的自家架构优势。由于骁龙平台的CPU、GPU、NPU全部自研,高通能更容易地把任务通过这几个计算组件,让复杂的AI任务被拆解到多个单元协同执行。手机的AI能力,不再局限于NPU的规格。这或许才是新一代Hexagon NPU最值得期待的地方——它不只是让骁龙手机获得更快、更稳的端侧AI体验,更是在为整个行业的端侧AI能力铺路。
从2013年的Zeroth项目,到2015年骁龙820的落地,再到2018年骁龙855加入张量加速器,最后到如今把调度能力也纳入NPU的职责范围,这条线拉出来看,高通在NPU这件事上的思路其实一直没变过:不是单纯堆算力,而是让终端设备真正能跑得动、用得上AI。至于这次升级能不能让开发者愿意把更多AI功能放到端侧,还得看后续有多少应用真正跟进。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.