21世纪经济报道记者 孙燕
随着AI从云端向终端快速渗透,端侧应用对AI芯片的功耗、算力、带宽、成本和实时性,都提出了新的要求。
7月17日,光羽芯辰在2026世界人工智能大会发布了端侧大算力3D堆叠近存算低功耗大模型推理芯片TC1000系列。
在WAIC2026上海国投赋能“POWER·开放麦”专场活动后,光羽芯辰创始人、董事长兼总经理周强接受了21世纪经济报道记者的专访。他介绍道,TC1000依托自研3D堆叠近存算架构、存算技术、存储分层技术,实现等效带宽10倍跃升,同等算力下功耗仅为传统方案的1/3,已实现单芯片3B模型300token/s超高速推理,算力可达到56TOPS。
“无论是车、机器人,还是手机、PC,或是工业、家居,今年WAIC一半的展示都和端侧相关。明年这个占比会更大,端侧已经成为了AI‘下半场’的赛点和推动力。”周强认为。
21世纪:端侧应用大模型推理目前存在哪些痛点?
周强:端侧AI的核心痛点主要集中在三个方面:首先是低延时,选择在本地运行的首要原因就是为了降低延时,减少用户等待的时间;其次是低功耗,特别是在脱离外部电源的移动场景下,只有低功耗才能确保设备拥有持久的续航;最后是高性能,这具体表现为极高的推理效率与速度,它是低延时与低功耗体验的基础。
除了上述三点,低成本同样至关重要。只有将成本控制在合理范围内,笔记本电脑和手机等终端产品才能真正被大众所接受。
21世纪:与市面上的通用GPU相比,TC1000在处理大模型推理任务时,有哪些优势?
周强:相比于主要侧重于通用性的传统GPU,我们的芯片既有通用性,又有专用和高性能计算核心。我们采用了TNQ与GNQ的组合设计:其中的GNQ类似于GPU,负责提供通用计算能力;而TNQ则作为专用系统核心,针对特定任务进行加速。
结合我们在物理架构上的创新——3D堆叠、近存算,我们可以把TNQ设计得算力密度更高、功耗更低。因此,这种“通用+专用”的混合架构加上先进工艺的组合,使我们的芯片在综合性能和能效比上,比单纯的GPU更具优势。
21世纪:3D堆叠是在封装阶段实现的吗?
周强:3D堆叠是一个贯穿设计与制造的系统工程。虽然最终步骤是将设计好的DRAM和逻辑芯片封装在一起,但这其实包含两个关键层面:首先是“设计主导”,在设计逻辑芯片和DRAM时,就必须预先考量二者的对接方式、散热方案、PI/SI仿真以及电路通信等细节,同时规划AI核心的分布。其次是“制造实现”——虽然最后的3D bonding是在工厂实现的,但其中我们做的封装设计更为重要。
21世纪:目前TC1000系列的目标客户群体主要是哪些?
周强:我们的应用场景非常广泛,涵盖了机器人、汽车、手机及PC等多个领域。针对手机,我们即将推出专门的适配产品。本次发布的产品其实已经处于量产的起步阶段,预计今年即可正式出货。
21世纪:在手机中,端侧推理芯片和CPU、GPU是如何分工的?
周强:CPU负责处理手机中如通话、社交软件、视频播放等各类日常任务。而当涉及AI计算,特别是运行大模型等高算力任务时,则由我们的芯片来处理。简单来说,CPU发起任务,我们负责完成任务并反馈结果,两者是一种紧密配合的协作关系。
虽然手机中也配有GPU,但其主要职能是图形处理。与服务器GPU不同,手机GPU本身与多媒体应用密切相关。如果要手机GPU兼顾AI计算,则会导致多媒体应用出现卡顿,影响用户体验,得不偿失。因此,我们的定位非常明确:主要与CPU配合,在其调度下发挥专长,高效处理AI任务。
21世纪:能否举一个例子,我们可以在手机上用端侧大模型做什么?
周强:比如参加WAIC,我们可以用端侧大模型规划行程。这就需要具备两方面的能力:一是对环境的感知——可以通过云端导入会场数据,让AI清楚参展单位有哪些、各自的优势和特性是什么。二是对用户个人的理解——AI必须了解用户的背景和兴趣,知道用户想了解什么。
结合现场环境与个人需求,它能为用户生成一份专属的参观地图,告诉用户去哪里、花多少时间、了解什么,甚至该问什么问题。沟通过程中,它还能实时记录信息到手机中。活动结束后,用户只需对手机里的大模型下达指令,它就能复盘,重新强调今天的重要观点。
这标志着手机将越来越懂用户,越来越懂现实场景,逐渐成为我们不可或缺的得力伙伴。但至关重要的是,这一切必须运行在手机本地。这不仅仅是为了保护用户隐私,更因为涉及的数据量(如图片)非常庞大,如果全部依赖云端处理,成本将是难以承受的。
21世纪:这和我们在手机上直接使用大模型有哪些不同?
周强:以DeepSeek为例,它需要存储海量的KV-Cache来理解和记忆用户习惯。这些信息不仅当下有用,甚至在明天、下个月回顾时依然需要。这就需要云端提供海量的存储空间,但这是不现实的。虽然云端的算力可以通过分时复用来服务众多用户,互不干扰,但云端的存储资源是独占且叠加的——每个人用一份,总量就会不断累积。
更为关键的是,这些数据涉及个人隐私,绝不能公开。如果全部依赖云端存储,厂商将难以承受成本压力,要么会向用户收取高额费用,要么在提供免费服务时定期清理数据。因此,完全依赖云端存储并不可行。
21世纪:目前端侧AI芯片路线繁多,包括传统NPU优化、SRAM存算、RRAM存算、光计算等。光羽芯辰是如何选择路线的?
周强:此前行业虽有SRAM存算一体等方案,但受限于容量,难以满足大模型的处理需求。我们前瞻性地提出了将存算一体与近存计算相结合的路径——如将SRAM存算与3D DRAM近存技术相融合,以更好地应对大模型对存储带宽日益增长的高要求。
要在竞争激烈的AI芯片赛道中脱颖而出,必须依托自身擅长的领域形成技术特色。我们团队擅长存储、计算与AI,那么将存储与AI计算进行紧密耦合,走智能计算与存算结合的路线,就是发挥优势、拉开与竞争对手差距的最优解。
我们也观察到,随着大模型对存储带宽的需求日益增长,行业发展的必然路径只有一条:那就是让AI计算与存储的距离越来越近,实现更深度、更优化的耦合。既然我们拥有这方面的优势和基因,并敏锐洞察到了这一趋势,便选择锁定这一技术方向深耕。
在市场层面,我们同样坚定看好端侧AI的巨大潜力。从今年WAIC看,约一半的展示都与端侧相关,涵盖了汽车、机器人、手机、PC以及工业、家居等多元化场景。明年这一占比将持续扩大,端侧无疑已成为AI发展的“下半场”核心赛点与关键推动力。
21世纪:当前端侧AI芯片的落地进展到了什么阶段?
周强:我们已经用落地的产品证明了端侧AI大模型“有路可走”——我们实际上是在“修路”。我们的芯片就是这条路,目前这条路已经基本修好,达到了可以让“车”通行的成熟阶段。
接下来,就是各种应用(车辆)开始在上面运行。随着车流量增加,路网也会越来越密集。未来我们将推出多样化的产品,既能像高速公路、省道、县道那样满足不同层级的需求,也能提供专用通道来支持各类应用场景。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.