在手机里如何塞下更大的端侧模型？面壁智能提供新答案

来源：市场资讯

（来源：界面新闻）

10月中旬，面壁智能与OpenBMB社区发布了开源端侧多模态系列最新模型MiniCPM-V 4.7，包括35B-A3B和1B两个版本。

其中，MiniCPM-V 4.7 35B-A3B可实现约3GB内存在iOS、安卓等系统上运行，这被视为公司在端侧AI应用上的一大技术进展。

“我们不想把判断说得太激进，而是选择一个相对稳妥、不容易引起争议的说法。”面壁智能联席首席科学家姚远表示，“这一代MiniCPM-V 4.7的35B模型，已经超过2023年的云端旗舰模型GPT-4V。”

它回应的是AI时代终端厂商将会非常关心的问题，在追求质量、效率、隐私安全等多重目标的前提下，如何在一部内存和能耗都有限的手机里，塞下尽可能更大的端侧模型？

把大模型放进手机先要分清两种空间，闪存是买手机时标注的256GB或512GB，通常用于存储照片、应用和模型文件，12GB或16GB的运行内存则是手机用于计算的工作空间。

姚远在接受界面新闻记者采访时表示，350亿参数模型即使用较激进的4位量化，权重仍约15GB，一次性装进旗舰手机的可用内存也很困难。

团队采用的是混合专家架构（MoE），35B-A3B对应350亿总参数和30亿激活参数，大部分专家的权重可以留在闪存里，必要时再进行读取。

这样做的问题在于，模型每生成一个token都要经过多层计算，手机计算单元需要反复等待读取以至效率低下。“在我们的测试中，iPhone 17 Pro Max如果直接采用这种方式运行，每秒只能输出3个token，用户很难接受这样的速度。”姚远说。

面壁智能联席首席科学家姚远（图源：面壁智能）

对此，面壁的解决方案为前瞻专家调度（LES）。前一层还在计算时，推理引擎就预测下一层可能用到哪些专家并提前读取。如果做得足够好，就能把加载时间完全隐藏在计算时间里。这其中也存在约束，例如如何尽量压缩内存占用，以及如何在保证输出质量前提下减少激活专家数。

经调校后，该模型在iPhone 17 Pro Max上的生成速度从每秒3个token上升至13个token，换成iPhone 18 Pro Max后进一步提升至20个token，最新2.0版本可在精度损失忽略不计的情况下优化至每秒30个token，内存占用仍为3GB。

据团队成员补充，结合速度、功耗、回答质量等因素考量，每秒15个token是兼顾可⽤状态与最强端侧智能的最佳速度权衡。

目前，从阿里千问等国产厂商到苹果、谷歌等海外巨头，更多公司参与到了端侧模型的研发、应用及部署之中，作为创业公司，面壁智能很难回避竞争护城河问题。

姚远认为单点模型不构成护城河，比拼的是全栈系统工程，由硬件、模型和基础设施这三个飞轮相互作用会得到明显增益——这也是团队优势所在。另外，投入生态共建，保持对模型、硬件趋势以及推理引擎最前沿的认知并将其有机融合到⼀起，也是不可规避的重要挑战。

在姚远看来，端侧模型性能的下一步上探，在硬件、模型和基础设施上短期可能存在局部卡点，但⽅法迭代很快，“⻓期来看，没有⼀个地⽅会成为单⼀卡点。”

手机、模型、芯片等多方厂商当前已接近形成共识，即端侧AI是大众普遍诉求，而做好这件事的必然路径就是软硬协同设计。硬件因为客观情况迭代相对较慢，但也在朝着主流模型架构贴合，模型则更容易在带宽、连接速度等硬件条件上做针对性设计。

一个值得分析的问题是，不是所有手机都是高端旗舰，中低端价位的手机在端侧模型应用上是否有更高挑战？

负责推理优化的⾯壁智能多模态⼤模型实验室算法研究员蔡天驰对界面新闻记者表示，上一代MiniCPM-V 4.6已在部分千元机上做到每秒约15个token，新版的轻量路线延续了这个目标。“1B这个版本是完全下探到千元机的。”他说。

需要指出的是，面壁智能同样认为端侧AI的完整路径也是端云协同，未来关键的分界点在于：终端设备上的智能⽔平到底怎么样、能接住多少用户的需求。

在姚远的想象中，用户需求是分层的，随着端侧智能⽔平的提升，每当它撞过⼀条需求线，就可以越来越多地把智能计算完全放在端侧。“照这个趋势，我觉得端侧智能会迎来类似个⼈计算、移动计算那样的变化，未来会有⽐较⼤的发展。”

面壁智能已有模型进入量产手机。据7月公布的信息，MiniCPM系列为三星Galaxy Z Fold8和Fold8 Ultra上的Galaxy AI提供端侧模型能力，涉及文本理解和多模态感知。团队表示，最新版本正与多家厂商接触，部分处于测试中。

对于端侧智能何时能够真正降临，面壁智能团队进行了一种定量的具象化呈现。

下图横轴是时间，纵轴是模型尺寸，也即参数量，点的颜色代表模型性能强弱（红强蓝弱）。以GPT-4V为参考，处于同一量级智能水平的模型相连即为“等智能线”，它表示截至某个时刻，要提供同等水平的智能，模型最小可以做到多大。

图源：面壁智能

可以看到，不仅是这条线，众多云端旗舰模型都在迅速下探，而图中另一条线上升曲线，则表示端侧设备能够有效运行的模型尺寸，两线交汇即意味着相应云端模型的智能水平，可以在端侧实现。

“如果定义是GPT-6级别，那还没有发生，但这个过程正在快速推进。”姚远说，“按照这个发展，两年内GPT-6上⼿机，我们觉得没什么问题。”