北京
11月9日消息，近日，面壁智能联席首席科学家姚远、面壁智能多模态大模型实验室算法研究员余天予和蔡天驰一起接受了媒体群访。这次他们把35B的MoE模型跑在了3GB内存上，报告里演示用的是iPhone 17 Pro Max、16 Pro Max这类终端设备。
一、端侧模型不是越小越好
面对"过去强调把模型做小、现在却要跑更大模型"的提问，姚远认为两者一直是一致的。他表示，因为它不是一个单一维度的东西，端侧最大的技术含量，本质上就一点，在端侧上提供最强的智能，参数大小只是更具体的技术手段。
他认为，云端和端侧的逻辑不一样。云端服务高并发，推理资源没有那么多物理限制，可以靠抬高容量把事做好；端侧受单机物理极限约束，"你只能跑6B的模型，就不可能把模型参数再加个10B来超过别人"，得贴合端侧硬件的物理极限去设计。
蔡天驰表示："它能跑起更大权重的模型，这就是端侧的优势。"他还提到，如果有一根魔法棒，点一下就能让GPT-6跑在手机上，为什么不做。
按照姚远的说法，3GB这个数字，功劳不在单点模型上，而在"模型、对硬件的理解，再加上infra"这套全栈系统工程。他提到，模型发布时很多端侧推理引擎和芯片做了适配，其中不少是和合作伙伴一起完成的，生态也算一层。
姚远提到软硬协同的一个具体例子：下一代芯片数据速度快、带宽相对较小，那就把激活参数放大一点、每个expert做小一点，靠智能密度去贴合。他还提到，截至2026年之前，手机上的NPU优化重点还是CNN和RNN，最近才开始朝Transformer的计算特性，比如self-attention去设计。
姚远认为，不存在长期的关键卡点。芯片迭代慢、是重资产，一般只能朝Transformer这一大类模型的基本面去设计；模型迭代快，就针对硬件的现状改，"两边互相贴合的结果就是，不会存在一个长期的关键卡点"。
图像编码这块，姚远坦言样机上"可能要等2秒"，这已经"稍微有点长"。他介绍，市面上多数方案是全图编码，开销随图片变大呈平方级增长，而他们的方案接近线性，"总体加起来估计只有1/10的开销"，这才把等待压在2秒这个量级；换传统方案，"这个等待时间你完全接受不了"。
二、千元机也能跑到 15 token/s
当下，演示用的都是旗舰机，千元机什么时候能用，这个问题被抛给了蔡天驰。
蔡天驰表示："1B这个版本是完全下探到千元机的。"他介绍，今年夏天发布的MiniCPM-V 4.6就是1B，苹果、安卓、华为的千元机，"几百块钱的那种设备都能比较流畅地跑"，速度达到15 token/s甚至更高。他提到，做两个版本的原因也在这儿：一个打能力上界，一个普惠更多设备。
蔡天驰谈到，15这个数字有来处。2024年他们判断，低于8 token/s人会明显觉得卡，15是流畅线；再往上到几十，反而"回答的时候人看不过来了"。
蔡天驰认为，35B-A3B在3GB内存里，回答质量"是无损的"，速度则守在这条15 token/s的线上。内部还有15B、30A3这样的版本，能到上百token/s，不过这些是内部版本。
谈到功耗，蔡天驰给的参照是"大致与运行一款大型手游相当"。他预计，不必等下一代芯片，"通过算子优化和软硬协同，我们预期在现有这一代芯片上，就能把功耗优化到接近长时间听歌的水平"。
蔡天驰解释，耗电的大头在计算核心，频繁L1读写带来的额外功耗"可能只有一成左右"。对于会不会和其他APP抢资源，他认为，模型跑在GPU和NPU、操作型APP在CPU，"两者在计算核心上互不干扰"，除非别的APP也在跑模型。
谈及使用场景，余天予进一步介绍道，端侧模型要当助理，最怕记错。"关键的证件信息、重要的纪念照，肯定是用原始信息存储，这样就不会出错"。在他看来，理解层面的问题仍要靠模型能力本身。余天予介绍，端侧还有另一重身份："它是一个顶级的上下文入口。"用户高频交互，端侧拿到的反馈比云端更全、更高频，于是"越用越懂你、越用越好、记得越来越准"。
三、什么留在本地，什么交给云
苹果的做法是自研端侧模型加云端模型，面壁则把模型放在本地。对于这算妥协还是方向，姚远认为，完整路径应该是端云协同，有些特别复杂的需求，本来就要调云端。
姚远谈到，原则上是能留在本地的，优先留在本地。上云的只是抽象的复杂逻辑推理，到那一步"极大程度已经完成了脱敏"，回来再和具体场景结合。
对于手机端视觉模型和具身VLA是否同源，姚远判断是同源："具身本质上也是一个端侧计算的需求。"他解释，决策频率高、要听音视频、要接高频反馈，最终都会撞上端侧计算的共同问题。他还提到传导路径：文本是多模态的上游，多模态是具身的上游。
关于端侧模型的天花板，姚远判断，两年内像GPT-6这样的旗舰模型能力，就可以在手机、在3GB内存里比较快地跑起来。（定西）
