WAIC·现场 | 魏少军挂帅、荣获SAIL奖，东方算芯3D近存计算能否破解“内存墙”？

每届WAIC（世界人工智能大会），最高奖SAIL奖（即卓越人工智能引领者奖）一直备受瞩目。而本届WAIC的SAIL奖共有四个，东方算芯DF1000位列其中。

根据官方对SAIL奖的释义，S代表超越，A代表赋能，I代表创新，L代表引领。东方算芯DF1000属于本届SAIL奖引领赛道。

据悉，东方算芯由国际欧亚科学院院长魏少军团队创立。7月18日，东方算芯相关负责人在现场接受了《每日经济新闻》记者的专访，其表示：“现在各大AI芯片厂商发布会已经很少提算力了，这与去年及以前完全不一样。”

具体原因在于，各大厂商的比拼已经从芯片层面进入系统层面，从比拼单芯片性能，到整机、超节点，即比拼在单位功耗之下产生的价值。在大模型的语境下，即单位功耗下获得总token（词元）的能力以及按照用户服务协议，获得低延迟token的能力。此外，随着大模型从训练更多走向推理，带宽的重要性越来越凸显。

带宽成主要瓶颈

上述东方算芯负责人认为：“当前架构下的大模型推理主要分为Prefill（预填充）和Decode（解码）两个阶段。其中，在Decode阶段，主要存在内存带宽瓶颈。简而言之，Decode阶段带宽往往打满了，但算力利用程度可能只有20%到30%。”

也就是说，在推理的Decode阶段，远远没有达到算力的上限。这时候，增加算力，性能也不会提升。该负责人强调：“在内存带宽瓶颈时，带宽增加多少，性能就提升多少。性能提升意味着单位时间单位功耗下产生更多token，也就意味着token成本的下降。”

那么，token成本下降对AI行业有何意义？上述负责人表示：“这意味着AI应用探索成本的下降。当下很多AI应用企业正在探索AI能力的边界，AI Coding（AI编程）已经被证明是很大的市场，那么下一个类似Coding的市场在哪里？这就需要探索，而探索需要成本。带宽领域的优势会带来token成本的下降。token成本下降可以使得AI应用企业探索得更远，从而更有可能发现下一个‘杀手级’应用，下一个AI Coding的市场。”

即当下AI硬件的主要瓶颈是内存带宽。带宽问题的解决，可以使得token成本下降。而成本下降可以使得应用探索行为更多，探索的场景更远。

传统的通用GPU是2.5D封装，即计算核心的数据走Interposer（中介层），再来到HBM（高带宽存储），虽然相比使用LPDDR（低功耗双倍数据速率内存）或者GDDR（图形双倍数据速率显存）的AI芯片来说，内存带宽有很大提升，但过去几年，访存带宽的提升速度仍远低于AI芯片算力的提升速度。

为了解决内存带宽问题，英伟达去年底“收编”了Groq的LPU（语言处理单元），采用片上存储SRAM（静态随机存取存储器）来解决内存带宽问题。即计算核心的隔壁就是内存，无需远距离传输。本来两块裸芯之间的传输，放到一块裸芯内部。

但问题在于，LPU使用SRAM，虽然带宽很高，但容量很小。原本的HBM，相比SRAM容量大但带宽小。就如同水池容量大，但是进水、出水速度慢。而英伟达推出的LPU，则是容量超小但带宽非常高，即水池容量小，但进出水速度极快。

3D方案提升内存带宽

3D近存计算，正是解决内存带宽问题的重要途径。而东方算芯在保持容量较大的基础上，极大提升了AI芯片的访存带宽。

东方算芯的方案，是在立体空间寻求发展。最下层是逻辑层，即计算核心，而（DRAM）内存放到上方，逻辑层晶圆与存储晶圆通过混合键合连接，从而实现高速互联。

上述东方算芯负责人表示：“逻辑芯片与存储芯片通过3D混合键合在物理层面堆叠，互联密度达到很高的水平。与传统HBM相比，DF1000的带宽得到大幅提升。”

据悉，LPU 3配备了500MB（兆字节）片上‌内存容量，提供‌150TB/s（太字节/秒）‌内存带宽。

而DF1000的带宽为6.4TB/s，虽低于LPU但高于国内采用2.5D封装技术路线的AI芯片。东方算芯上述负责人认为：“LPU的带宽更高，但其容量太低了。”

据悉，LPU机架中有256颗LPU芯片，但如此多的芯片，其高速存储容量也仅有128GB（吉字节）。而128GB，如果要把大模型的权重参数都放在高速的SRAM内存上运行，连当下“满血”参数的主流大模型都放不下。

换言之，传统GPU算力强大，但Decode阶段性能常常受限于内存带宽。而LPU拥有极致的内存带宽，但内存容量又较小。而3D近存计算产品DF1000，在保持较大内存容量的同时，大幅提升内存带宽。

7月18日，魏少军在WAIC2026主题演讲中便表示，国内AI芯片需要跨过三堵墙，分别是算力墙、内存墙和通信墙。

而3D近存计算产品DF1000提供的思路，或引领国产芯片逐渐跨过内存墙。