北京
35B 参数的模型，塞进手机 3GB 内存，解码速度还能跑到 13+ tokens/s。OpenBMB 发布的 MiniCPM-V 4.7，把这三个数字放在了一起。
它被定义为首个能在手机本地流畅运行、且不牺牲性能的开源 MoE 多模态模型。参数规格是 35B-A3B，测试设备是 iPhone 17 Pro Max。对做端侧 AI 的人来说，这组数字本身就是信号：多模态模型上手机，卡点正在被逐个拆掉。
把 35B 装进 3GB 的两个关键
第一个是 LES，前瞻专家调度。MoE 模型的专家权重不必全部驻留内存，可以放在闪存里按需加载。但随机加载会造成明显卡顿，这是老问题。
LES 的做法是跨层路由预测：预判下一层会用到哪些专家并提前加载，同时优先计算已经在内存里的专家。配合量化和存储布局优化，在真实设备上取得约 5 倍加速。
这套思路的本质，是把瓶颈从"内存容量"转移到"闪存带宽 + 预测命中率"。属于系统层面的工程创新，不是模型结构创新。
第二个是 SRFT，自回放微调，解决的是定制化时的灾难性遗忘。
思路是：微调窄任务之前，先让模型自己为一批覆盖原有能力的通用 prompt 生成回答，经拒绝采样筛选后，以 Task:Replay = 4:1 混入任务数据做普通 SFT。训练流程完全不变，只改数据。
关键洞察在于标签必须 on-policy，也就是来自模型自身的分布。消融实验显示，同样的数据量，自生成标签把通用能力退化压到 1.58 分，外部标签只能压到 5.58。
跨四个模型验证，遗忘降低 80%–99%，任务性能基本无损。
为什么这两个点值得单独拎出来
端侧跑大模型，过去常见的取舍是砍参数、砍精度，换一个能跑起来的结果。MiniCPM-V 4.7 给出的路径不太一样：模型规模不动，动的是加载调度和微调数据配比。
LES 让内存不再是硬门槛，SRFT 让开发者做定制时不必担心模型"学新的忘旧的"。两件事都指向同一个方向——把工程问题留在工程层解决，而不是回头压缩模型本身。
对想在手机上做多模态应用的开发者来说，3GB 内存占用和 13+ tokens/s 的解码速度，意味着可用的硬件范围比想象中宽。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
