北京
35B参数的多模态模型，跑在手机上。面壁开源的 MiniCPM-V 4.7 把这件事做成了，用的办法是量化压缩加一套叫 LES 的调度机制。
端侧部署一直卡在同一个地方：参数规模越大，设备越扛不住。35B 这个量级过去基本是云端或工作站的活，移动端想都别想。MiniCPM-V 4.7 的 35B-A3B 架构，配合量化压缩，把模型体积和计算量压到了移动芯片能接住的范围内。
LES 调度解决的是什么问题
LES 全称 Lookahead Expert Scheduling，即前瞻专家调度。它的作用是在推理过程中提前安排专家的调用顺序，让 35B 规模的模型在资源受限的设备上也能高效运行。量化负责把模型压小，LES 负责让压小之后的模型跑得顺，两者配合才让手机端推理成立。
实测设备是 iPad Pro M4 和 iPhone 17 Pro Max，在这两台设备上实现了流畅的推理速度。这个结果直接指向一个变化：高性能大参数多模态模型在端侧落地的可行性大幅提升。
被改写的是部署经济学
端侧多模态模型过去的选择很有限——要么用小参数模型换速度，要么把请求发到云端换能力。MiniCPM-V 4.7 把 35B 塞进手机，等于把这道选择题的选项改了。量化压缩降低的是部署成本，LES 调度提升的是运行效率，两件事叠加，改变的是端侧部署的账本。
面壁这次开源，把 35B 端侧多模态的部署经济学摆到了台面上。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
