基于数据包NPU在大模型时代：从计算密集型到内存密集型工作负载

本文最初发表于Expedera官网，经Expedera授权转载。

许多《半导体工程》的读者对Expedera的Origin NPU IP架构背后的基本原理已有所了解：使用数据包而非网络层进行调度、更高的乘累加单元利用率，以及减少激活数据向外部存储器的无谓搬运。但现在正在发生变化的是工作负载的构成。纯视觉类边缘处理器正逐渐让位于这样的系统：大语言模型、视觉语言模型和生成式功能开始与传统感知网络一起出现在智能手机、车辆和嵌入式网关中。

就NPU设计而言，当边缘端的主流工作负载不再是纯计算密集型的卷积神经网络，而是开始呈现出带有庞大KV缓存的内存密集型Transformer特征时——尤其是在安全攸关的汽车应用场景中——这将带来怎样的影响？

工作负载的反转：卷积神经网络与大语言模型/视觉语言模型的对比

第一个视角转变在于认识到瓶颈发生了反转。

对于基于卷积神经网络的视觉工作负载（如YOLO系列检测器、MobileNet类分类器、分割网络），历来的主要制约因素是计算能力。权重会被重复利用，推理时的执行过程在很大程度上是无状态的，加速器的设计也围绕着在给定的面积和功耗范围内最大化乘累加吞吐量展开。Expedera基于数据包的调度方式，通过将工作分配到各个数据包而非整体化的网络层中，提升了乘累加单元的利用率，并减少了DDR流量。

而大语言模型和视觉语言模型改变了这一局面。正如Expedera及业界其他人士所指出的，预填充（prefill）阶段仍可能对算力要求较高，但解码（decode）阶段很快就会因KV缓存访问和参数规模扩大、有效复用率低而成为瓶颈。其结果是，工作负载正日益变成内存密集型而非计算密集型，这一点在资源受限的边缘端和车载环境中运行模型时尤为明显。

图1：大语言模型带来的运行时推理复杂度增加

此外，以卷积神经网络为中心设计的NPU是为无状态、并行、计算密集型推理而构建的，而如今视觉语言模型的Transformer解码过程却受限于内存行为——包括KV缓存大小、访问模式和带宽——而非数据手册上标注的名义TOPS算力指标。

Origin架构的演进：内存密集型场景下的数据包机制

鉴于这种工作负载的反转，我们探讨了对卷积神经网络行之有效的数据包抽象机制，能否扩展到Transformer模块和KV缓存访问中，并围绕大语言模型/视觉语言模型的行为特点，对硬件与软件进行协同设计，而不是将其当作"又一个普通模型"来对待。

从总体上看，该引擎具备以下特性：

单核算力可扩展至128 TFLOPS，多核配置下可达PetaFLOPS级别，但在扩展过程中始终将内存行为置于核心地位，而非仅作为附带考量。

针对前馈运算、注意力机制和矢量运算分别使用独立的处理模块，数据包会根据网络结构和当前所处阶段（预填充还是解码）被路由到相应模块。

保持最初的设计承诺：模型可以"按训练时的原样"运行，无需重新训练，也不会降低精度，而数据包化和调度过程则在硬件/软件栈内部进行管理。

对大语言模型而言，关键数据指标是内存搬运量。我们发现，与其他替代方案相比，基于数据包的处理方式能够将Llama 3.2 1B和Qwen2 1.5B这两个具有实际嵌入式大语言模型部署代表性的网络（而非简单示例）的外部内存搬运量减少超过75%。

即使在高度依赖内存的场景下，我们也观察到该架构能够实现"数千TFLOPS的有效算力"，以及"每平方毫米硅片数十个Token每秒"的处理速度，这表明该架构在计算与内存之间实现了实用的平衡，而非走向任何一个极端。

边缘与汽车场景的影响：延迟、隐私与功耗

对于边缘和汽车系统而言，大语言模型/视觉语言模型工作负载中的数据包机制会直接转化为系统层面的各项约束条件。

延迟与隐私方面。在本地运行大语言模型推理能够降低端到端延迟，并使车内或设备上的数据无需上传云端，这一点出于用户体验和监管合规的双重原因，正变得愈发重要。

内存与功耗预算方面。在车辆、边缘节点和移动设备中，内存资源受到严格限制。每一步解码都将KV缓存传输到DDR或HBM，很快就会成为功耗和成本上的难题。基于数据包的调度方式能够减少外部内存搬运、提高本地复用率，从而在给定功耗预算内实现更高的每秒Token处理量。

异构工作负载共存方面。汽车SoC芯片需要同时运行感知、驾驶员监控、信息娱乐系统，现在还要加上生成式功能。一个将卷积神经网络和大语言模型都视为一等公民的NPU产品系列——而非在为卷积神经网络优化的核心上硬塞大语言模型支持——能够简化平台设计，并减少对独立加速器的需求。

Origin Evolution近期在2026年边缘AI与视觉年度产品奖评选中荣获"最佳边缘AI处理器IP"奖项，这凸显了采用系统化方法解决内存与功耗瓶颈的重要性，这些瓶颈正是阻碍生成式AI在边缘端实际落地的关键因素，而不仅仅是追求更高的峰值算力指标。

EDA与架构设计：预填充与解码阶段的分别建模

对于EDA团队而言，更值得关注的并非数据包这一概念本身，而是如何对预填充和解码这两个阶段分别进行显式建模和优化。

Origin Evolution对预填充和解码采取了差异化处理方式：

预填充阶段仍需要较高的算术运算吞吐量——以矩阵乘法为主，其行为更接近经典卷积神经网络，只是模型规模更大。

解码阶段则主要受KV缓存读取、内存流式传输以及较小的单步计算量所主导，这些工作可以通过数据包的方式分散处理，从而降低外部内存压力，并将工作负载分摊到注意力模块和矢量运算模块中。

图2：推理事件时间线对比

数据包流与独立处理模块的组合使得以下工作成为可能：

构建能够区分预填充与解码阶段的性能和带宽模型，而非将整个Transformer推理过程笼统地归入单一的平均性能画像。

针对各阶段的实际KV缓存访问模式，分别探索和调优缓存层级结构与流式接口参数（如DRAM/HBM位宽、SRAM容量、分区方式）。

针对大语言模型或视觉语言模型功能作为人机交互界面或驾驶员监控系统一部分的安全攸关类汽车工作负载，分析其最坏情况下的延迟和带宽影响。

数据包抽象机制仍是整个架构的基础，但系统设计者现在可以将数据包理解为大语言模型/视觉语言模型行为的调度单元——根据不同阶段调度至相应模块和缓存层级——而不仅仅是卷积神经网络层的拆分片段。

图3：数据包——一种独特的AI优化方法

开箱即用的兼容性与软件优先的工作流程

从软件和EDA工具链的角度来看，另一个值得关注的视角是兼容性。

Origin Evolution的软件栈被设计为能够导入来自HuggingFace、Llama.cpp、TVM等平台的网络模型，同时支持全整数和浮点精度、混合精度模式、层融合/拆分，以及在芯片或芯粒层面对多核进行集中控制。

从实际应用角度来看，数据包化对用户而言并非一种全新的编程模型。在实践中，现有的已训练模型可以直接部署到硬件上，不会降低精度，也无需重新训练，而数据包化过程则在编译器/运行时路径中自动完成。

对于在日益软件优先的采购环境中工作的EDA和验证团队而言，这一点意义重大：

它减少了在机器学习技术栈中针对特定硬件进行定制化重写的需求。

它使得团队能够针对参考实现（例如Llama 3、Qwen 2）进行性能建模和回归测试，而无需为每种架构重新构建网络模型。

它契合了汽车和移动平台领域的发展趋势，即对NPU IP的评估不再仅限于微架构层面，还要看其能否快速且安全地运行真实的开源模型。

展望未来

对于边缘AI的设计而言，悬而未决的问题已不再是数据包机制是否有效——对卷积神经网络而言，其有效性显而易见——而更多在于该架构如何能够简化跨异构AI工作负载的建模、调度和验证复杂度。随着生成式AI功能大规模进入汽车和边缘设备，这些问题很可能将决定哪些加速器架构能够真正走向量产，哪些则只能停留在基准测试的演示幻灯片上。

Sharad Chole

Expedera首席科学家