![]()
今年6月,英伟达CEO黄仁勋发布RTX Spark超级芯片(内部代号N1X),正式开启了布局个人电脑(PC)核心处理器市场。
当时,黄仁勋毫不掩饰其野心,直言这将是“PC行业40年来首次彻底重新设计与再造”。
本周五,基于RTX Spark的笔记本电脑全球新品首发体验会上,大量粉丝和KOL挤在北京双井京东Mall里面,社群上High翻天。
![]()
当然不止是英伟达。
近期,苹果董事长TimCook也确认,国内苹果AI功能将会在本月向用户测试,12月发布。
而Meta发布的8160亿参数Muse Spark Open开源模型,已联手苹果实现两台M5 Ultra Mac Studio 本地运行,而Meta+苹果的组合被认为直接挑战英伟达CUDA生态。
英特尔也在加紧布局下一代用于端侧的AI芯片,预计明年推出的端侧AI计算产品将实现每瓦性能提升9%、功耗降18%,而下一代 Razor Lake-AX 系统级芯片将于2028年推出。
在国内,端侧AI算力公司 后摩智能本周公布,其后摩漫界M50量产不到一年,已经获得150多个产品定点,服务客户超过百家,产品应用覆盖Agent Computer、智能移动终端、具身智能机器人、边缘推理等多个方向。
后摩智能创始人、CEO吴强对智能纪元AGI表示, 大模型从说话、做事,Agent对底层计算带来了变化,因为它的Tokens数量级有2-3个数量级的提升,这对计算效率提出了一个高要求,而后摩M50最核心优势在于功耗很低。
“智能终端PC未来潜力会更大,从普通PC变成AI PC,市场慢慢渗透过程中,还有机器人,这些未来潜力都很大。”吴强表示。
端侧AI为何“翻红”?
两年前,ChatGPT引发全球热潮,英特尔大喊了一个新概念:AI PC,个人AI电脑。
随后,AI手机、AI平板、AI智能体终端、具身智能、具身终端等概念应运而生。
当时,英特尔称AI PC终端要到1亿台。 尽管 据Gartner等机构预测,2026年全球AI PC出货量将达到1.43亿台以上,渗透率约55%,超过传统PC产品,但实际AI Agent真实渗透率和使用率却不到5%。
为什么端侧AI重点一直无法真实渗透进去?我们也曾与行业人士交流过,主要有三个原因:
1、全新的AI终端价格高昂,比正常的平板、PC、手机设备要贵一些,导致消费者无法更新换代。
比如,我手里的英特尔Ultra的联想电脑设备,要高达12000元起;最新的RTX Spark终端高达2万-5万元之间不等。
![]()
然而,RTX Spark 它 CPU 基本上在 15 核的 M5 Pro 芯片的水平,而 GPU 的性能呢,大概介乎于 M5 Pro 和 Max 之间,和 5070 的笔记本电脑版本差不多。
如今,AI终端处于“性能过剩”时期,加上全球经济放缓,AI PC、AI手机都处于放缓阶段,消费者的电脑换代需求不强,使用AI依然在Chat阶段,即便真正使用AI智能体,也都可以用云端的Workbuddy或模型Agent产品,端侧下载使用需求不大。
2、之前端侧AI能力不强,用户担心AI的幻觉问题,对于安全使用AI技术不放心。
例如,一家端侧AI模型的公司创始人告诉我,手机厂商前期会找一些模型厂商进行接触和技术细节展示,即便最后达成合作,可能手机厂商也不会直接使用这些模型进入手机产品当中,更可能的是自己直接下场去做,找一些开源模型进行迭代,主要原因在于防范AI数据接口和安全不会掌握在自己手中。
两年前,端侧AI可用的模型尺寸是在70亿左右,AI经常会出现“幻觉”和错误信息,更不用说索取手机上的隐私数据,对于用户来说,端侧AI能力不强,还不如使用豆包、DeepSeek等。
当然,如今端侧AI模型有了很大变化。
今年9月,面壁开源了MiniCPM5-2B 在 Artificial Analysis 榜单上排全球 4B 以下第一,模型能力能够与云端模型比肩;而vivo等厂商的AI手机中都能直接塞进30B左右的MoE模型,问答、查本机数据和记录日程待办这类简单任务都可以轻松实现。
此外,Anthropic、MiniMax、阿里千问等海内外大厂的新一代轻量级模型能力飞跃,使得端边可部署模型和云端旗舰模型之间的差距收窄;芯片则进一步突破硬件能效上限,让端边设备可部署的模型更大、推理速度更快。
后摩智能联合创始人、产品副总裁信晓旭透露,以千问大模型为例,Dense模型同智能水平的参数规模17个月被压缩至1/8,MoE模型则在6个月时间压缩至1/6;如今端边芯片可以跑120B模型。
3、存储价格上涨,导致端侧AI终端价格上涨、需求放缓。
今年以来,存储价格开始从上涨,到供需偏紧、涨幅收窄。国家统计局数据显示,今年1-7月,电子行业利润同比增长 1.1 倍,其中,以算力芯片、存储芯片为代表的集成电路行业利润同比增长18.5倍,对全部电子行业利润增长贡献率超过八成。
如今,端侧AI终端销售处于“哑铃”两端:高达15999元的iPhone Duo秒收一空,而中高端价位设备销售下降,更多销售转向价格低端的产品,AI产品也变成融入现有场景、寻找阿里华为钉钉飞书等大厂合作的一个新趋势。
这也重新传导到芯片阶段。
当前,端侧AI模型进展加速,Workbuddy、Marvis等Agent办公产品逐步成为主流,导致端侧AI芯片赛道被重新评估,芯片厂商也需要寻找新的解决方案。
“现在整个全世界 AI 被两波人赚了,一波是英伟达,一波是存储厂商,这肯定是不可持续的状态。”信晓旭表示,端侧 AI 绕不开成本,而存储在历史高点,不可持续、终会回落。因此,后摩产品布局充分考虑到了这些问题,何时存储价格应该下来了,会以存储大容量取胜,但某个时间点大家觉得存储太贵了,就会换成存储更小带宽更高,从另外的技术路径解决这个问题,再利用AI infra、异构计算、产业链控本等方式解决性能和成本问题。
如今,为了解决芯片同时应对计算、存储与功耗的约束挑战,后摩智能以SRAM-CIM为根技术,形成2D CIM与3D CIM两条技术路径,分别面向更大容量和更大带宽的需求,目前后摩智能在已有芯片产品基础上,沿两条技术路径持续规划后续产品,包含A20等,并围绕小型化模组和PCIe标卡两类形态推进板级产品演进。
事实上,SRAM存内计算把乘累加运算直接放在SRAM存储阵列内部完成,模型权重驻留在片上存储中,不用反复在存储与计算单元之间搬运数据,以提升单位功耗下的算力输出。根据后摩智能M50的架构对比数据,在AI Core层面,采用SRAM-CIM后,核心面积较传统实现下降约3/5,功耗降至原来的约1/5。
“通过提升单芯片能力、完善片间互联与多芯扩展,让不同终端能够承载更有能力的本地模型。软件工具与硬件演进配合,支持伙伴持续开发和升级产品。”信晓旭在演讲中表示,未来后摩智能的Roadmap主要推两类产品,一种是PCle标卡系列,完全应用于标准化NPU产品,即插即用;而另外一种小型化计算模组系列,直接用于机器人、Agent电脑等设备中。
吴强进一步向智能纪元AGI表示,存储涨价芯片领域的公司也心疼,尤其是3D和内存、wafer晶圆照涨,而客户冲的是算力密度、低功耗,能控的部分只能是压计算成本、让毛利给客户,把高算力和模型塞进小芯片,用极致性价比帮客户降本。
换句话说, 大模型正在重新定义“算力”,对于端侧AI算力芯片的未来,需要 用存算一体、3D SRAM-CIM等技术,让存储和芯片放在一起,实现存储、带宽、制程、计算、功耗以及这些指标之间的整体平衡,以创新的技术实现高算力、低成本、低功耗等PPA最佳的芯片产品。
家里放一台端侧AI终端,睡觉时它替你砍价
最近黄仁勋在英国对端侧AI产品提出了过去几年的一些想法,非常有future感,值得分享:
![]()
几年前我在想一个问题,在 AI 这个新世界里,计算机会是什么样子?AI会诞生出什么样的计算机?
其中最明显的一种,就是人形机器人。但我几乎可以想象,每个人都既有实体版本的机器人,也有数字版本的机器人。你会有你自己的数字机器人,它跟你一起长大,帮你做事,它就住在你家里。那么问题来了:它跑在什么样的计算机上?
大概十年前,我们推出了一种全新的计算机,叫 DGX-1,但没有人明白它是干什么用的,结果我们并没收到成堆的采购订单,而且是一张都没卖出去。结果马斯克说 我有一个 DGX-1 的客户,结果就是OpenAI。
那台机器启动起来,真正点燃了现代 AI 革命。所以几年前我想,如果每个人都有一台DGX-1,那该多好。于是我们做出了DGX Spark。
它就是DGX-1的迷你版。不可思议的是,它也有 1 PFLOPS,跟 DGX-1 一样,它基于一颗N1X的芯片,这个项目花了将近四年,原因是我们必须等GPU架构成熟,采用一种全新的浮点运算结构,它会自动适配自己所需的精度,去适配不同的层、不同的运算,等到 Blackwell 准备好,才做出一颗芯片:它同时拥有大量的浮点能力,在Blackwell架构里,还有大量与之配套的显存,而且做了很久、等了很久,最后就诞生了 DGX Spark。
它就这么待在你家里,有点像你自己的人形机器人。总之这个设备会坐在那儿,而不再是「你去使用电脑」,你是直接跟电脑聊天,它一直待在那里,替你干活。你晚上去睡觉,它可以去做研究,或者帮你在网上翻找一笔好价,或者像今天来这儿的路上,让它去找最好的小酒馆,然后生成一份很漂亮的报告,带图片、带菜单之类的。
所以这本质上就是你的个人数字机器人。我们就是为这个做了 DGX Spark。
当然,我们还想象过另一个问题:假如今天关于你电脑的一切都变了呢?我们今天所有人用的电脑,本质上跟35年前我们做出来的是同一台。而个人电脑是我们最重要的工具,我们用它做所有事。
那么在AI Agent世界怎么让电脑工具转起来,所以我们想,DGX Spark如果能跑 Windows,那就太棒了,所以四年前,微软CEO Satya和我开始讨论,如果我们把 Windows 彻底重新发明一遍,让Agent就在那里,做你的协作者,用你 PC 里的那些工具,会怎么样,我们当时想象,最终这些 agent 会学会使用工具。而今天,我们就站在这里。
所以我们做了这台电脑。它看起来神奇地就像一台 PC,而这是世界上第一台「什么都在英伟达上跑」的PC。
![]()
这或许就是终端的未来前景:让每个人都有一台AI终端,让这台智能设备自己主动干活,甚至半夜你睡觉,它都能帮你工作、帮你砍价。
今年10月24日将发布的联想AI主机P7,底层AI计算能力由 M50提供,软件栈负责连接芯片与上层模型,在约300g、整机最大功耗约30W的设备中实现最高1220亿参数大模型的本地部署。
当然,无论是主机等 家庭AI中枢,还是AI PC、陪伴机器人,这背后的算力芯片需要用同一套端边AI计算能力跨越不同产品形态,甚至需要被持续复用。
这或许就是后摩坚持发力端侧AI的原因。
六年前(2020年),后摩智能正式成立。2026年2月,后摩智能M50实现量产,采用存算一体架构,典型功耗约10W,提供160 TOPS INT8算力,能够支持35B到122B级别的大模型本地运行,公司也全面做大模型端边AI加速。
后摩智能沿着基于SRAM的存算一体+端侧AI路线坚持了六年。
“如今我只是更坚定了我们当时的转向是正确的,今天所有的一切,包括取得的一点点成绩,都是跟当年我们痛苦的转型相关的,因为我们可能领先了别人一步或者两步。同时, 我们认为这个大方向是对的,大模型推理、大模型应用这件事可能是未来10-15年的主题,端边大模型我们一定会坚持做下去。 ”
![]()
这是三年前5月,吴强当时饱含深情的说,后摩智能的使命,就是用极致芯片实现万物智能,未来公司想做的方向是“ 万物智能时代的极效计算平台国际头部智能芯片企业 ”,而公司愿景是想成为一家受世界尊重的中国智能芯片公司。
![]()
三年后的今天,当150多家服务客户选择后摩智能的时候,这个梦想已经接近现实。
“我们感觉更像一个AI产业链底层的赋能者。我们赋能的东西比较明确,因为芯片相对来说是比较客观的,你的功耗是多少,算力是多少,能跑多大,带宽是多少,这些东西相对来说比较容易评测。”吴强表示。
正如吴强所讲,端边AI芯片的商业化故事,其实才刚刚开始,一场万亿级篇章即将展开。
据弗若斯特沙利文数据显示, 全球端侧AI市场规模预计将从2025年的3219亿元增长至2029年的1.22万亿元, 复合年均增长率 达到40%。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.