能跑，然后呢？端侧AI的临界时刻到了

“芯片的价值要靠终端场景来验证。

当前，人工智能加速演进，大模型、智能终端与存算一体技术深度融合，产业链上下游协同共生的需求日益凸显。

在此背景下，10月14日，由后摩智能主办的生态合作伙伴大会在北京启幕，芯片、模型、终端、应用等全链条伙伴齐聚一堂。

会上，后摩智能围绕2D CIM、3D CIM两条技术路径及相应产品布局，结合商业化进展与软件生态开放，分享面向Agent时代的技术与生态合作进展。

端侧智能：从“十五五”前瞻方向到产业落地

过去几年，AI的能力边界持续外扩。从回答问题、生成内容，到理解任务、自主执行任务，AI正从云端服务走向真实的工作与生活场景，进入PC、手机、机器人以及各类智能设备，成为触手可及的日常工具。

但当大模型真正“装进”这些设备，一个更现实的问题随之浮现：如何让AI从“能跑”走向“被需要”？端侧AI的价值也在于此，让智能靠近用户、贴近场景，不再只是云端的抽象能力，而是每一台设备上可感知的生产力。

这一判断，正在政策层面得到明确回应。《北京市“十五五”时期数字经济发展规划》明确，2026—2030年数字经济增加值年均增速8%左右。到2030年，数字经济增加值占地区生产总值比重超过50%。规划同时提出，将“建设智能终端原创高地”“深入实施‘人工智能+’行动”作为重要方向。

产业端，北京经开区管委会副主任、北京市集成电路重大办主任历彦涛在会上介绍，以集成电路为核心的新一代信息技术产业已成为亦庄第一大主导产业，区域集聚集成电路企业近400家，形成了覆盖设计、制造、封测、装备零部件的完整产业链。后摩智能就是经开区重点引进的一家存算一体的芯片骨干企业，为经开区构建"芯片+AI+智能终端"的融合创新格局注入了核心力量。

要素成熟了，生意还没成立

三道仍未跨过的坎

端侧AI的两个底层要素：芯片和模型，在过去两三年的成熟速度超出了产业界的普遍预期。

后摩智能联合创始人、产品副总裁信晓旭在会上给出了两组对比：以千问为代表的Dense类模型，过去17个月里，同等智能水平的模型尺寸压缩为原来的1/8；更热门的MoE类模型进步更快，6个月压缩到1/6。芯片侧的曲线同样陡峭：2024年前后，端边类芯片大概只能跑7B左右的模型，推理速度仅十几Token/s。而今天，后摩M50芯片已可流畅运行30B至120B参数量级的大模型。他判断，今年是Agent元年，端边AI正迎来属于自己的黄金窗口期。

但要素成熟不等于生意成立。会上被反复提及的，是三道仍未跨过的坎。

第一道是合规。麒麟软件副总经理、生态发展中心总经理姚翎说：麒麟软件的客户多是党政、央企等核心领域的关键岗位。今年，大家都在规划把AI作为重要抓手，政策也全面导向AI，但现实是客户不敢用。为什么？因为只要AI工具部署在互联网上，涉密数据就绝对不能碰。现在AI太聪明了，你以为给文件换个代号就安全了？它完全能把今天和明天上传的碎片信息，拼凑出一份完整的涉密文件。所以对重要岗位的客户来说，本地安全是重中之重。没有任何商量的余地，安全就是一切的前提。

第二道是体验。寅谱计算CMO陈展凌指出，客户并不最在意省Token，而在意持续使用时的感受：设备要静音、散热要处理好、首字响应速度要跟上。“第一次用可能很惊艳，想持续用，一定要关注客户感受。”这背后是一个容易被忽视的事实：端侧AI的竞争对手不是云端模型，而是用户对“好用”的日常预期。一次惊艳的演示与一款愿意每天打开的产品之间，隔着散热、噪音、响应速度这些看似琐碎却决定留存的基础体验。

第三道是交付。罗格数据CTO刘学鹏把这件事量化成了距离：“模型可能解决了一公里外的问题，做系统优化的伙伴解决了500米，我们解决最后100米。用户不会为500米和一公里买单，只会为100米买单。”他把企业侧的三道门槛列为数据打通、嵌入既有工作流、模型稳定性——几百张Excel的财务合并，“顶级的模型都做不到”。这道坎揭示的是端侧AI商业化中最容易被低估的环节：从“模型能做什么”到“用户拿到手能用”，中间隔着的不是算力，而是场景理解与工程交付。

Agent时代，做“端侧免费Token工厂”的算力底座

回到这场会的主办方。后摩智能成立于2020年，是一家专注于存算一体架构大模型端边AI芯片的研发企业。公司的定位很明确，“端侧免费Token工厂”的算力底座。

后摩智能创始人、CEO吴强把公司六年的路径概括为三个反共识选择：“当所有人都在‘啃’算力时，我们选择‘啃’能效；当整个行业追逐云和数据中心时，我们选择相信端边是智能的终局；当别人都在拼制程时，我们选择存算一体。”这三个选择指向同一个目标：让端侧Token的边际成本趋近于零。在吴强看来，Agent的出现把芯片的评价维度从“算力+带宽”二元指标拓展到算力、带宽、容量、延时、功耗、成本等多个维度，“相当于从‘不可能三角’变成了‘七八角难题’，纯粹靠传统GPU、冯·诺依曼架构已经无法满足，必须靠底层架构创新来破局”。

技术路径上，后摩智能联合创始人、产品副总裁信晓旭将技术布局的目标归结为持续提升产品的Token/$与Token/W。前者关注单位成本所能获得的Token产出，后者关注推理输出与功耗之间的关系。

在2D CIM路径上，后摩智能结合SRAM-CIM与存储配置，面向更大容量需求持续演进；在3D CIM路径上，通过先进封装将存储与计算进一步结合，面向更大带宽需求展开布局。其中，3D CIM将SRAM-CIM用于逻辑计算层，与存储层协同，在计算效率与数据访问之间寻求更紧密的配合。

产品战略以应用场景为驱动。后摩智能在已有芯片产品基础上，沿两条技术路径持续规划后续产品，并围绕小型化模组和PCIe标卡两类形态推进板级产品演进。通过提升单芯片能力、完善片间互联与多芯扩展，让不同终端能够承载更有能力的本地模型。软件工具与硬件演进配合，支持伙伴持续开发和升级产品。

从产品定点到终端落地，后摩的技术能力正在加速转化为具体产品和应用。围绕Agent Computer、智能移动终端、具身机器人和边缘推理四大方向，终端、模型、平台与行业应用伙伴结合真实产品和项目实践，呈现端侧AI从模型适配、软硬件协同到场景落地的完整路径。

值得一提的是，会上，后摩智能在生态合作伙伴大会上宣布开源“后摩AI生态软件”，结合模型支持、开发工具和参考设计，将不同项目的适配经验沉淀为可复用开发支持。同时，公司联合CPU、操作系统、模型、推理框架等领域企业，发起Agent Computer“共创未来”计划及产业白皮书共创计划。

从“能跑”到“被需要”：

端侧AI的临界时刻

会议上，从这场会议来看，有几个判断值得记下来。

判断一：AI落地的第一道门槛不是算力参数，而是客户敢不敢把数据放上去

麒麟软件副总经理、生态发展中心总经理姚翎提到，对党政、关基、央企这些核心岗位客户来说，“本地安全需求是重中之重”，因为“所有涉密的数据是绝对不能往上放”。罗格数据CTO刘学鹏则把“安全”进一步细分为“私域化专属”：企业核心业务、核心数据一定是掌握在企业自己手里，财务税务场景中的发票、财报、订单数据“不可能放到云端模型上做推理，天然就会选择必须专属化”。聊趣智能创始人兼CEO黄隽实在养老“数字家人”场景中也把“安全问题”列为第一关切，强调家庭场景私密信息非常重要。三位嘉宾从不同客户群出发，都谈到了端侧AI落地的第一道门槛不是算力参数，而是客户敢不敢把数据放上去。

判断二：客户不为“能跑模型”买单，只为“最后一百米”买单

刘学鹏把工程价值定义得很直接：“用户不会为500米和一公里买单，只会为100米买单。”他把落地门槛总结为三道：数据打通、嵌入用户熟悉的工作流、以及模型概率化带来的稳定性。寅谱计算CMO陈展凌则明确说，“省Token这个事反倒不是一个最主要的点，但是客户体验很重要”，并强调系统集成优化、静音、散热这些客户感受层面的工程功夫。黄隽实补充，成本是非常关键的部分，“大部分的企业不一定有这样的预算做这个事情”。

判断三：端侧破局是“生态工程”：开放、聚合、把适配前置

姚翎把端侧破局的最大工程直接定义为“生态的工程”：“第一点，要开放”“第二，聚合”“每个人专注做自己的事情”，并强调要“提前把用户的需求，把我们生态去前置”。后摩智能AI系统总工程师陈仲铭呼应：“我们不可能把所有东西都自己做”，所以要开放接口、架构和API，“一定要把基建做好，让上面跑的车越来越多”。陈展凌则指出现实约束：“场景还不足够”“期待有更多的软件商能够看到这个机遇，去做转型”。三位嘉宾都指出，端侧AI不是某一家芯片公司能单独撑起来的，开放、聚合、把适配前置，才是规模化的前提。

文：梦芸数据猿
责编：凝视深空数据猿