Agent让Token消耗暴涨百倍，端侧AI临界点还有多远？

Agent爆发之后，Token消耗量涨了2到3个数量级。这个数字来自后摩智能创始人、CEO吴强在10月14日一场大会上的分享。他同时提到，这种趋势还在加速。

过去一个多月，本地模型、小模型、个人智能体接连涌现，端侧AI能不能成为主流、什么时候成为主流，又被拿出来讨论了一遍。看好的人不少，但爆发时刻屡屡"失约"也是事实。

算力下沉，不只是技术问题

全球人工智能创新治理中心副主任、复旦大学国际关系与公共事务学院副教授蒋昌建在会上提示，关注端侧AI，需要理解从云端到边端转移带来的算力下沉，以及权力、风险和责任分配的变化。

他举了亚马逊封锁Meta个人智能体Muse的例子，强调端侧AI发展背后的技术权限、商业规则问题。在他看来，形成开放公平的接口治理制度，实现安全、自主、公平与责任的统一，对端侧AI的发展尤其重要。

算力下沉也在改变芯片行业的格局。后摩智能2020年成立，持续深耕存算一体和端侧算力。吴强说，过去一年行业变化尤为明显，Agent的爆发让Token消耗提升2到3个数量级，计算效率因此变得更加重要。

市场表现上，后摩智能的M50芯片量产不到一年，已获得150多个产品定点，服务客户超过百家。

四大场景里，谁在起量

吴强介绍，公司产品主要覆盖四大场景，目前起量最快的是Agent Computer和边缘服务器。谈及AI PC，他看重的是PC市场数亿台存量所蕴含的机会——普通PC向AI PC的渗透需要一个过程，但未来的市场潜力更大。与此同时，具身智能场景也正在起量。

对于端侧AI的发展，吴强强调了成本和生态的关键作用。他认为，如果能把Token的边际成本压到趋近于零，本地算力一次性投入后可以无限调用，将极大加快行业发展。

后摩智能由此提出了"端侧免费Token工厂"的概念，希望成为端侧AI的算力底座，用更低的能耗生产更多智能。吴强也表示，现阶段多数复杂场景的需求仍需由端边模型与云端协同满足，端侧芯片也在性能和经济性上快速进步。随着模型和芯片两端共同演进，他判断未来1-2年左右可能达到临界点。

阿里云智能集团千问模型智能硬件行业总监徐超在会上表示，端侧AI的发展关键是如何有效利用NPU算力与内存，把模型做小、智能密度做高。在他看来，到2027年年中，很可能用端侧模型就已经能解决大部分人的很多工作需求，届时"个人超级计算机"也很可能会变成标配。

Token经济学成了显学

随着今年推理需求爆发，Token经济学成为"显学"，Token/$与Token/W成为市场关注的焦点指标。后摩智能联合创始人、产品副总裁信晓旭解释，前者关注的是单位成本所能获得的Token产出，后者关注的是推理输出与功耗之间的关系。

他介绍，公司以此为目标布局技术和产品，核心是以SRAM-CIM为根技术，持续推进计算架构和封装技术创新，形成2D CIM与3D CIM两条技术路径，分别面向更大容量和更大带宽的需求。

信晓旭特别提到，在端侧模型、芯片、应用快速成熟过程中，今年Agent的爆火影响尤其大。现象级Agent平台的涌现，极大加速了端边AI创新和落地的进程。他把这个场景类比为当年移动互联网的起点——正是iOS、安卓系统平台的成熟，才有了智能手机应用的大规模爆发。在他看来，端侧AI也正在迎来类似的奇点时刻。

万格智元创始人、CEO王冠博表示，从渗透率来看，2023年至今AI仍以指数级的规模在跃迁式增长，但目前确实已出现"算力下沉"的变化。他认为这背后的核心是用户的选择：用户需要的不是最贵、最强的模型，而是能解决其需求的模型。随着模型密度提升，端侧AI能解决的问题越来越多，AI发展的范式也会从"依赖智能"走向"拥有智能"，端侧最终会成为所有人使用AI的真正入口。

最后100米的三道门槛

场景落地、部署门槛、商业模式，仍是端侧AI面前的瓶颈。

罗格数据CTO刘学鹏提到，用户不会为"一公里外"的模型能力买单，只会为最后100米买单。端侧AI想跑通这最后100米，还需要迈过三道门槛：

• 数据打通
• 交互嵌入工作流
• 概率模型稳定性

不少行业人士也指出，端侧AI在安全、隐私、稳定、成本等方面都被寄予厚望，但目前的核心矛盾是场景不足、规模化落地不够。前述因素都需要在具体场景和落地实践中才能得到验证。

除了端侧各环节继续发展、落地，产业的生态协同也被认为是赛道未来发展的关键。吴强强调，想打造端侧AI生态，就需要从单点合作走向系统化协同，将不同项目中积累的适配经验、开发工具和合作方案连接起来，降低门槛、缩短周期，加快端侧AI产品落地。