上海
7月18日消息，在WAIC 2026期间，聆思科技市场副总裁韩超阳围绕端侧大模型推理芯片发表主题演讲，并在会后接受对话交流。谈及当前市场，韩超阳给出了两个判断。韩超阳表示：“需求非常迫切。”但就产业进程而言，韩超阳同时表示：“目前还处于萌芽阶段。”在他看来，方向已经明确，但真正匹配终端需求的芯片和应用仍在形成，需要终端、模型和芯片厂商共同推进。
据介绍，聆思此前主要面向智能家居、智能穿戴和教育办公等场景提供端侧感知模型AI推理芯片，相关产品累计出货量已超过1.5亿颗。约两年前，聆思开始布局端侧大模型推理芯片Nebula，并与模型厂商及内部算法团队共同研究Transformer架构、底层算子和模型运行特征。对于研发进度，韩超阳表示：“目前的节奏是，到年底进行流片，明年上半年正式推出样片。”根据产品规划，Nebula单芯片支持3B至13B参数规模的LLM、VLM和VLA模型。在7B模型推理场景下，目标实现Decode每秒100个Token，典型平均功耗为5W至15W。目前，聆思已与联想、面壁智能、海尔等合作伙伴围绕终端形态和应用需求开展联合预研。
在韩超阳看来，端侧大模型芯片不能只比较TOPS。韩超阳表示：“算力很重要，但不是唯一指标。”大模型推理中的Prefill和Decode阶段对算力、内存带宽的需求不同，标称算力高并不等于实际推理效率高。韩超阳表示：“除了关注绝对算力外，还要关注算力利用率。”聆思为Nebula设定的算力利用率目标超过70%，并认为在利用率合适的前提下，端侧80T至200T是较为合理的算力范围。
为缓解内存带宽瓶颈，Nebula采用3D WoW近存计算技术，通过3D DRAM堆叠将内存带宽提升至1TB/s。韩超阳表示：“3DDRAM确实是平衡各方面成本、功耗跟性能的最优综合解决方案。”他认为，云端可以优先追求性能，终端却必须在功耗、散热、空间和成本的多重限制中完成推理，因此单一性能指标难以反映产品的真实可用性。
此外，端侧芯片还要面对模型迭代速度远快于芯片研发周期的问题。韩超阳表示：“我们不能针对当前的算法，用固化的理念去做固化的芯片，否则可能跟不上时代潮流，在大模型迭代时很快被淘汰。”聆思的做法是，对Transformer架构中通用、高频且相对稳定的算子进行专门优化，同时为可能变化的部分保留灵活算力和可编程架构。韩超阳表示：“一定要上下游紧密耦合设计，才能发挥出最大的性能优势。”
在应用落地上，韩超阳认为AIPC及其他AI办公硬件可能最快形成规模需求。用户已通过云端大模型感受到效率提升，司法、金融、信创和软件开发等涉及敏感数据或核心代码的场景，对本地推理和隐私保护的需求尤其明确。智能座舱同样需求迫切，但汽车量产周期更长；与自动驾驶相比，座舱中的交互、理解和服务场景更适合率先采用端侧大模型。
具身智能机器人是另一个重要方向。韩超阳认为，当前机器人的运动控制能力进步较快，但负责理解、规划和泛化的大脑仍显不足。韩超阳表示：“智能机器人一定是刚需。”不过，机器人要形成实际使用价值，芯片仍需在更小体积和更低功耗下提升推理能力。全屋智能也被聆思列为重点场景，本地家庭算力主机有望解决隐私和云端调用成本问题。
面对模型公司、终端厂商进入芯片环节，韩超阳并不将其视为零和竞争。韩超阳表示：“没有一家厂商能独自完成所有硬件产品，这是不可能的。”聆思现阶段计划以推理协处理器适配不同主控芯片，在具体应用形成足够规模后，再考虑集成为SoC。对聆思而言，Nebula能否按计划完成流片和样片交付，并把联合预研转化为量产终端，将成为下一阶段的重要任务。（定西）
本文来源：网易智能
责任编辑：
丁广胜_NT1941
