端侧Token的成本，可以无限趋近于零吗？

来源：市场资讯

（来源：智驾网）

AI走向终端从来不是技术的简单迁移，而是算力、数据与价值的一次重新分配。在这张被重写的版图上，后摩押的是最底层的那一环：让Token更便宜，让智能更靠近人。

文丨智驾网 零酱‍‍

编辑丨浪浪山与明知山

过去两年，人工智能的「体重」在肉眼可见地变轻：

同等智能水平的大模型被一压再压，端侧芯片能吃下的参数量则翻着倍地涨。

原本只住在云端数据中心的智能，第一次可以在桌面、客厅甚至口袋里完成。

模型变小、芯片变强，两股力量相撞，把2026年撞成了Agent元年：

AI开始从「回答问题」走向「完成任务」，从数字空间走进物理空间。

而它下一步要去的，是每个人的终端。

10月14日，在北京举行的2026大模型赋能智能终端创新实践大会暨后摩智能生态合作伙伴大会上，做芯片、模型、操作系统、整机、应用的人第一次坐得如此之近。会场外的展区里，能跑大模型的笔记本、充电宝大小的AI主机、面向家庭的陪伴机器人一字排开——它们装着同一家公司的芯片。

这家公司叫后摩智能，到今年成立六年。

六年前，存算一体还是个备受质疑的方向，它把赌注押在「端与边是智能的终局」上；六年后，它把一个听起来像口号的目标写进了公司定位：做「端侧免费Token工厂」，让端侧Token的边际成本无限趋近于零。

这真的能做到吗？

01.

算力下沉：端侧AI的时间到了

端侧AI不是新概念，但它在此刻爆发，有具体的理由。

复旦大学蒋昌建教授首先给出了治理视角的回答：AI从云端走向终端，改变的不仅是效率，算力重新分布，权力、风险和责任也在重新分配。

机器人避障等不了云端往返的时延，集中式服务的故障会连锁放大，而数据一旦离开本地，隐私和数字主权便无从谈起。

端侧管实时控制与隐私敏感任务、云端管复杂推理与大规模训练的混合架构，正在成为产业与治理的共同框架。

让算力沉到终端，不是技术演进的可选项，而是AI走进物理世界的前提。

北京集成电路学会秘书长陈小男则将端侧AI称为「打通大模型落地应用的最后一公里」的关键抓手，并强调「芯片的价值要靠终端场景来验证」。

但算力沉下去，立刻会撞上一笔难算的成本账。

Token的产出要过三道成本关：芯片要钱，电要钱，开发者把模型跑到芯片上的时间也是钱。

云端可以靠规模摊薄这些成本，一台服务器服务成千上万用户；端侧一台设备就是一台设备的账。

2024年前后，这笔账几乎算不平——端边芯片只能跑7B左右的模型，每秒输出十余个Token，能耗和价格都降不下来。算力贵、电贵，Token自然贵。

转机出现在最近两年。

模型侧，以千问为例，Dense类模型在17个月里把同等智能水平的尺寸压缩到原来的1/8，MoE类模型更快，6个月压缩到1/6；芯片侧，端边芯片已经能承载120B上下的模型。

模型把智能密度提上去，芯片把算力释放出来，两下相抵，端侧跑大模型的单位成本第一次有了持续下探的空间。

后摩智能联合创始人、产品副总裁信晓旭把这个时刻类比为iOS、安卓成熟前夜的移动互联网：平台成本降下来，应用爆发才可能发生。

在技术的基础上，政策给出了导向性的愿景：「十五五」规划提出深入实施「人工智能+」行动，到2027年智能终端和智能体渗透率要达到70%以上。

治理、技术、政策都在推动端侧AI的算力下沉，那谁来把这笔账算平？

02.

后摩的Token账，要怎么算

后摩的答案，从它成立第一天就开始写了。

2020年成立时，这家公司做了三个与主流相悖的选择：

全行业在啃算力，它啃能效；

同行押注云端和数据中心，它相信端与边才是智能的终局；

别人拼先进制程，它选择存算一体，用架构创新布局未来十年的算力。

三个选择背后是同一组判断：端侧的瓶颈从来不是算力不够大，而是电不够用、散热装不下、钱花不起；AI要走进亿万终端，必须从根上换一种省电、省钱的算法。

回头看，赌对了。

后摩是全球首家实现商业化落地的存算一体高算力AI芯片企业：专有的SRAM-CIM技术在同等算力规模下，把芯片核心计算阵列的面积压到传统架构的三分之一左右，运行功耗降到约十分之一。

已量产的M30是业界第一颗基于存算一体架构的大算力芯片；旗舰M50量产不到一年，拿下超过150项产品定点，服务客户过百家。

那些受制于功耗与成本、只能停在产品经理脑子里的创意，第一次有了算力载体。

后摩智能创始人、CEO吴强把公司定位压成一句话：

在Agent时代，做「端侧免费Token工厂」的算力底座——用最低的能耗产生最强的智能，让端侧Token的边际成本无限趋近于零。

落到具体的技术路线图上， 信晓旭把核心目标翻译成两个指标：

Token/$和Token/W。

前者是单位成本能产出多少Token，决定用户用不用得起；后者是单位功耗能产出多少Token，决定设备能不能一直跑。

要把这两个数字提上去，思路只有两条：要么少花钱，要么多产出。

少花钱，指的是砍掉AI计算里最贵的浪费——数据搬运。

传统架构里，计算和存储是分开的，数据要在两边来回搬运，业内公认这笔搬运开销是推理功耗的大头。

存算一体的做法是让存储单元直接参与计算，数据不动、计算上门。这就是后摩把计算阵列面积压到约三分之一、功耗降到约十分之一的原因——搬运省下来的钱和电，全部变成了Token的产出。

多产出，靠的是把存储和计算的配合做得更极致。

在SRAM-CIM这个根技术之上，后摩铺开两条互补的路径：2D CIM面向高算力、大存储容量的场景，靠存储配置扩容量；3D CIM走得更远——主流3D堆叠靠先进封装解决访存问题，后摩则在封装之上引入架构创新，把底层逻辑die直接换成SRAM-Based CIM，让存储与计算贴得更近，算力、功耗、散热一起受益，存储介质也不必拘泥于DRAM，Flash、RRAM这些更便宜的介质皆可扩展。

介质便宜了，Token的成本又低了一截。

产品矩阵沿这两条路径展开：

A20是首颗3D CIM芯片，已经投产，高带宽、低时延，最多支持16芯全互联，算力利用率较上一代提升50%，覆盖3B到30B的模型。

在研的M6X系列瞄准M50三到六倍的综合能力，为的是不让伙伴的投入变成一次性买卖。

规划中的A30面向海量消费终端——E量级的出货量，正是把单价摊薄的关键。

板级产品上，小型化模组与PCIe标卡两条线并行，目标很明确：从几十B到上千B的模型，都能在本地跑起来。

账算到这里，芯片侧的答案是完整的：架构创新降功耗，封装创新提带宽，产品矩阵摊成本。

芯片之外，还有一笔藏在暗处的成本：开发者的时间和伙伴的研发投入。

AI迭代太快，一家公司教不过来所有开发者——把接口、架构、API开放出去，让伙伴把芯片当工具直接上手，这部分成本才有机会摊薄。

吴强给出八个字：带头开放，高效赋能。

开放的第一步落在软件上——后摩宣布将打磨三年的「后摩AI生态软件」正式开源。

这套软件分五层：推理框架、领域开发套件、ModelZoo、中间件和应用样例，已与vLLM、llama.cpp、SGLang等主流推理框架深度适配，95%以上的客户开发都基于它的ModelZoo进行。

后摩智能AI系统总工程师陈仲明在圆桌交流中将这一决策形容为：

「把基建做好，让上面跑的车越来越多。」

但信晓旭同时给后摩划定了边界：不做整机，不做上层应用。后摩只守芯片、编译器工具链和参考设计，把终端和场景留给更擅长的伙伴。

目前M50已与X86、ARM、RISC-V三大主流CPU架构完成适配并进入量产水平，操作系统覆盖Windows、开源鸿蒙、安卓和麒麟、统信等国产平台。

03.

同一颗芯片的不同形态

生态的成色，最终要靠伙伴的产品来验证。

联想的AI主机P7是关注度最高的一台：充电宝大小，搭载M50，INT8精度下160TOPS、典型功耗10W，可本地运行122B的大模型，10月24日正式发布。

联想集团副总裁李伟昌把它描述为「放在用户身边的专属算力中心」，配合天禧AI的端云调度，智能体可以7×24小时持续执行任务。

来自美国的Deepshard带来了另一种验证。这家公司的本地AI计算机Truffle同样选择M50，从今年年初的一条官网链接，到9月首批样机落地，中美团队形成了洛杉矶、深圳、北京三地的工程闭环，新一代设备预计明年一季度发布。

中电长城的N90 Pro回答的是另一个问题：全栈自主的AI笔记本能不能好用。

这台1公斤重的机器集成M50，本地160TOPS跑得动35B模型，AI模块待机功耗只有0.35W，对整机续航的影响不过20分钟。中电长城林俊的判断是，对政企客户，「数据不出机不是加分项，是入场券」。

商汤的AI Box把街道办、财务法务这类数据敏感场景的分析时长从3至5小时压到3至5分钟；

绿联的HomeAgent HA100 Pro把本地存储、本地算力和IoT生态装进一台家庭中枢，断网也能用；

星网智慧带来一台去掉了「腿」、立场站在家庭的陪伴机器人；

万格智元用推理调度优化，让4G内存也能无损跑35B模型；

阿里云智能集团千问则展示了125B、27B向端侧演进的模型家族。

同一颗芯片，被装进了形态完全不同的终端。

04.

安全与专属是客户付费的第一驱动

从「能跑模型」到「被用户需要」，中间隔着什么？

这场大会上，来自操作系统、终端、行业应用与算力芯片不同环节的从业者，给出了近乎一致的答案：安全与专属是客户付费的第一驱动，省Token反而不是首要诉求。

麒麟软件姚翎的观察是，涉密数据「不能上云」让本地算力成为政企客户的入场券——哪怕给文件改个代号，AI也能把碎片信息拼回完整的秘密；

聊趣智能黄隽实在上海养老机构的「数字家人」实践中，靠本地算力同时满足了隐私兜底、静音运行与全天候值守；

罗格数据刘学鹏判断，依托中国开源模型生态的土壤，AI落地将呈现「以端侧为主、云端为辅」的格局；

寅谱计算陈展凌则提醒，场景不足与系统级工程优化仍是规模化的瓶颈。

对后摩的期待同样具体。

陈仲铭把行业约束归纳为算力、带宽、功耗的「不可能三角」——后摩率先突破功耗，再沿产品与技术两条线分别做大算力与带宽；姚翎呼吁已达到量产标准的整机尽快规模化落地，「不用就永远不知道还差在哪里」。

面对「后摩会成为端侧时代的英伟达吗」的提问，陈仲铭的回答是：

「推理时代必然百花齐放，我们希望后摩是开得最漂亮的那朵花。」

圆桌之后，Agent Computer「共创未来」计划正式启动——后摩与兆芯、此芯、麒麟软件、统信、开源鸿蒙、腾讯混元、商汤、面壁智能等伙伴共同登台，并联合发起《Agent Computer发展趋势与产业实践白皮书》共创：共创用户价值，共建开放生态，共守可信底线，共拓产业未来。

争论没有结束，但队伍先成了。

现在可以回答那个问题了：端侧Token的成本，未必真的会降到零——内存涨价、场景稀有、工程繁难，都是挡在路上的现实。

但后摩智能至少证明了一件事：让它无限趋近于零，已经从一句口号，变成了有技术路线、有产品矩阵、有150个定点作证的产业工程。

六年，后摩从一颗存算一体芯片出发，走到了发起产业共创的位置。AI走向终端从来不是技术的简单迁移，而是算力、数据与价值的一次重新分配。

在这张被重写的版图上，后摩押的是最底层的那一环：让Token更便宜，让智能更靠近人。

从芯出发的队伍已经集结，向端而生的故事，才刚刚开头。

【关注智能汽车，关注智驾网视频号】

合作or新闻线索提供，联系邮箱：editor@autor.com.cn