端侧逼近“ChatGPT时刻”：面壁智能让35B模型跑在手机内存里

面壁智能发布 MiniCPM-V 4.7 后，我重新看了一组关于端侧算力的数字。一个容易被忽略的对比是：如果把全国智能手机上的算力加总，规模大约是全国云端算力总和的 10 倍。这些算力大部分时间闲置在用户手里。今天每向 AI 提一个问题，哪怕只是识别一张图片，数据通常仍要经过网络，送到几千公里外的数据中心处理。作为参照，一台八卡 AI 服务器的功耗超过一万瓦，人脑大约 20 瓦；手机如果真以 20 瓦满负荷运转，几分钟就会烫得拿不住。

手机的内存约束更现实。一部标称 16GB 内存的旗舰机，扣除系统和常驻后台，能分给单个应用的空间往往只有 6 到 8GB。今年供应链内存涨价、部分硬件厂商缩减配置，端侧可用的空间更紧。按过去稠密模型的逻辑，6GB 内存几乎就把端侧模型锁在 8B 或 9B 规模。

问题也随之而来：设备有多少内存，是否就等于能拥有多少智能？如果端侧上限被内存卡住，AI 只能依赖云端算力和网络，那么在隧道、车内摄像头前、没有稳定基站的欠发达地区，“智能普惠”就很难成立。

面壁智能这次发布的 MiniCPM-V 4.7，想解的就是这个约束。按官方说法，这是一个总参数量 35B 的多模态大模型，运行时只占用 3GB 内存，并且可以完全断网使用。把大模型装进手机并不是新口号。过去两年，行业里有不少把百亿甚至千亿模型放进手机的尝试，但多数停留在演示阶段。如果一个模型在手机上每秒只能输出两三个 token，用户提问后要等半分钟，这种演示很难说有多少实际体验价值。

面壁给“可用”划的线比较具体：在 iPhone 17 Pro Max 上做到 13+ token/s，iPhone 18 Pro Max 上达到 20+ token/s；经过 LES 2.0 优化后，同一台 iPhone 18 Pro Max 跑出 30+ token/s。平板侧，官方 LES 技术文档给出的 iPad Pro 11 英寸 M4（16GB）实测是 17.39 token/s。面壁多模态实验室研究员的判断是，15 token/s 是“流畅”线，超过 30 token/s 之后，人基本就看不过来了。

但把 35B 模型塞进手机，同时把常驻内存压到 3GB，难点不只在芯片算力。很多人第一反应会想到 MoE：35B 是总参数量，处理每个词时实际激活 3B，像一个有 350 亿知识储备的专家团，每次只叫最对口的 30 亿参数出来工作。MoE 解决的是“算得动”，没有解决“装得下”。一个 35B 模型的原始权重超过 65GB，即便按常规 4 比特量化压缩，体积仍有 15GB。系统无法提前预知下一个词会调用哪几个专家，传统推理框架跑 MoE 时，仍必须把这 15GB 参数全部载入运行内存待命，手机内存吃不下。

真正让常驻内存降下来的，是底层推理基础设施的重构。面壁智能联席首席科学家姚远在交流中说，走到今天，“Infra 的重要性比原来大很多”。团队没有让全量参数驻留内存：运行内存里只保留必须一直使用的公共参数和一小块动态缓存池，庞大的专家参数留在手机闪存里，需要谁再临时调进那 3GB 空间。内存省下来了，但闪存读取速度远慢于内存，真跑起来速度会掉回每秒两三个字。

负责底层架构的工程师算过一笔账：模型一共 40 层，手机芯片纯计算完 40 层只需要 50 毫秒，理论上能达到每秒 20 个字。拖后腿的是数据搬运。每次算到当前层，才知道下一层需要哪几个专家，再去闪存读取权重，底层 I/O 传输与调度开销高达 250 毫秒。也就是说，芯片算 1 秒钟，得停下来等 5 秒钟的数据。

这也是为什么这次发布里更值得看的是“前瞻专家调度（LES）”机制，而不是单纯的榜单分数。团队统计发现，模型里约 10% 的高频专家承接了过半计算任务，可以直接常驻在那 3GB 内存缓存池里。剩下的低频专家，他们利用了 Transformer 架构里天然的残差连接特性：相邻层之间的数据特征高度相似。既然上下层长得很像，系统不必等这一层算完，而是用当前层的数据提前预判后面大概率会用到哪 8 个专家，并在芯片做计算的 50 毫秒里，把这些专家从闪存异步预取到内存。实际跑下来，8 个专家通常能猜中 6 到 7 个。到了下一层，芯片先算猜中的几个，猜错的一两个排在队尾，利用算前面专家的时间差再去闪存补齐。按团队的说法，这种计算与读取重叠的调度把单步系统开销压到 50 毫秒以内，250 毫秒的读取延迟被藏了起来，在保证 100% 数学等价无损的前提下，3GB 常驻内存里跑出了接近无损的推理速度。考虑到千元档位的中低端机型，他们还做了一个激活参数只有 1B 的轻量版本，在千元机上也能维持每秒 15 个字的输出

模型跑快只是其中一半。每次只激活 3B 参数，看图、看视频和思考能力会不会缩水，是另一半问题。

面壁在视觉处理上借用了人脑的省电逻辑。人眼视网膜有 1 亿多个感光细胞，但连接大脑的视神经纤维只有 100 万根，视觉信息进入大脑皮层前已经完成约 100 倍压缩。MiniCPM-V 4.7 通过全链路视觉压缩架构，让 1 个视觉 Token 承载过去 16 个 Token 的信息量。看视频时，模型会跳过静止或缓慢移动的背景，只对真正发生变化的区域重新编码。比如一段百米赛跑视频，跑道、观众席和天空大部分时间不动，只有运动员在跑。按官方说法，这种机制把端侧处理视频的耗时降到了传统方案的十分之一。

后训练阶段，团队也在控制模型“想太多”。云端大模型流行靠拉长思维链提升准确率，动辄输出几千上万个思考 Token，因为云端算力成本厂商可以自己扛。手机上思考过程太长，意味着掉电和等待。过去大模型提高准确率，常靠拉长思考、消耗算力；针对特定任务微调时，又容易出现对新任务过拟合、遗忘旧知识的问题。面壁在 MiniCPM-V 4.7 上的做法是：输入端把画面信息最高压缩 16 倍，配合投机采样让模型“直奔主题”；同时采用“自回放微调（SRFT）”，让模型在学新技能时自己出题复习旧知识。按官方给出的结果，在不开启漫长思考的常规模式下，它在 34 项权威榜单上领先同档位的阿里 Qwen3.6-35B-A3B，也越级超过了更大体量的 Qwen 27B 和谷歌 Gemma-4 31B，在生僻字与古籍识别、长 PDF 文档解析、长视频理解上表现更突出。

这些技术选择背后，是一个更直接的问题：云端模型已经足够强，为什么还要在手机有限的硬件资源里做端侧部署？

过去一年，不少“AI 手机”的体验并不算好。大部分功能还停留在帮人点咖啡、订机票的浅层交互，不够聪明，也难说自然。真正像个人助理那样全天候感知用户看到的画面、听到的声音和手机里的上下文，出于隐私和成本考虑，很难把摄像头画面、车内监控视频或全部聊天记录实时上传云端。

在媒体沟通会上，团队提到一个细节：一些基金会曾专门找到他们，探讨如何把这些端侧模型装进非洲当地几百元人民币的低端手机，去解决基础医疗问诊和教育问题。在那些连电和网都奢侈的地方，不花流量、断网可用的高密度模型，可能是让前沿技术落地的少数路径之一。

1943 年 IBM 董事长曾断言全世界只需要 5 台主机。个人电脑刚兴起时，一台 PC 内存只有 256KB，随便开个数组就会内存溢出，当时不少人觉得个人电脑只是玩具，真正的计算还得靠大型机。后来的硬件和软件生态改变了这个判断。端侧 AI 现在也处在类似的临界点：只要端侧模型还没跨过“真正好用”的及格线，市场就会怀疑它的价值；一旦响应速度、准确率和隐私优势同时成立，计算留在本地就会成为自然选择。

过去两年，大模型领域的“智能密度”大约每隔几个月翻一倍。MoE 架构在手机上跑通，意味着端侧模型的体积开始和运行内存解绑。按照面壁团队给出的推演，顺着这条技术曲线往下走，或许不到两年，一个达到 GPT-6 智力水平的模型，就能安静地运行在每个人手机那 3GB 的内存空间里。这个判断能否成立，还要看更多机型、更多真实场景的检验；但至少，它把“35B 模型在手机上断网跑”从演示阶段推到了可用性讨论里。