![]()
撰文 | 雁秋
编辑 | 李信马
题图 | IC Photo
以下几个场景,在2026年的旗舰机上已经很常见:
将手机切换到飞行模式,对着相册输入“5月份在上海”,相应的照片就会跳出来;打完半小时电话回忆,手机可以生成一段摘要并保留完整录音;行驶到山洞或者信号较弱的地方,导航软件依旧在运行......支撑这些体验的是正是端侧模型。
手机行业为什么要往端侧AI走?首先是要保护隐私,涉及通话、照片、个人信息等数据不出设备;另外,在断网的情况下也能使用;更现实的因素在成本,云端API成本虽有下调,但端侧部署完成后几乎没有额外调用开销。
这个节点上,面壁智能在10月中旬推出模型MiniCPM-V 4.7,包括35B-A3B和1B两个版本。在11月份的一场技术沟通会上,官方公开了MiniCPM-V 4.7的最新技术进展,在iPhone 18 Pro Max上,35B-A3B模型以约3GB运行内存实现了20.51 token/s的解码速度。经过进一步优化,团队又将这一数字提高至30 token/s以上。
这被视为端侧AI应用上的一大技术进展,它回应了手机终端厂商非常关心的问题:如何在内存和能耗都有限的情况下,塞进更大的端侧模型。
01、“专家”不用全在内存里
怎么理解“35B-A3B”?我们可以把它想象成一家拥有350人规模的公司,但每回答一个问题,老板只叫3个人来干活——专业上,这叫混合专家架构(MoE)。
以前这样的模型想塞进手机基本是天方夜谭,一部配置较好的12GB内存手机,抛开系统占用,最多剩下约8GB可用,这还是假定模型独占其余全部资源,实际使用中后台往往还跑着几个程序。而35B模型即使Q4量化(4-bit Quantization,通常全精度模型的每个参数用32位浮点数存储,Q4量化将每个参数压缩为4位整数,体积缩小为原来的1/8),权重约15GB,也比8GB大了近一倍,装都装不进去,更谈不上运行。
MiniCPM-V 4.7解决了这个问题:“专家”不用全在内存里,谁需要谁上,用完放回去。关键是,速度还跟得上。
具体来看,面壁找到两条拆解路线。一条在硬件侧,手机除了12GB内存,还有大得多的闪存,用闪存存放15GB的模型权重是条可走的路。
另一条在模型侧,15GB看起来是一整块,但它的大部分参数由彼此独立、在很大程度上并行的“专家”组成,每生成一个token,各层只需要激活其中少数几个。
于是,MoE模型第一次在手机上有了可运行的形式。但这里需要澄清下,3GB是峰值运行内存,不是模型体积,内存里放的是当前层的激活专家、常驻的非专家部分与KV cache,权重整体仍在闪存里。
解决了容量问题,却引出另外的难点。如果算到某个token的某一层才确定需要哪些专家,再从闪存中调取,等待时间就会很长,甚至超过计算本身。测试显示,在iPhone 17 Pro Max上直接采用这种“按需加载”策略,解码速度只有每秒3个token,基本谈不上可用体验。
因此,面壁提出了一种解决方案——LES,前瞻专家调度(Lookahead Expert Scheduling,LES)。这一技术可以在前一层仍在计算时,就预测下一层可能激活的专家,并提前从闪存读取。如果预测足够准,加载延迟就可以被计算时间完全遮蔽。
这种预测本身也有一定风险,预测错了浪费权重,预测得太保守,延迟无法完全隐藏。LES的设计同时施加了多重约束,比如不减少激活专家数量、不替换专家、不引入额外的预测训练模块,并且将内存占用控制在3GB以内。
面壁智能的联席首席科学家姚远在分享会上提到,不到一个月内,团队把每秒3个token提到13,把iPhone 17换成18后,token直接到20,2.0版本在精度损失几乎可忽略的前提下,超过30 token/s,说明这套调度策略在真实硬件上具备可迭代性。
02、技术上来了,体验还没跟上
端侧AI进手机已经成为未来的一种趋势,而且市场数据也验证了这个方向。IDC预测,2026年中国AI手机出货量将达到1.47亿台,渗透率升至53%,首次压过非AI机型。
与此同时还有另外一条线,Counterpoint 提出,GenAI在400美元以上高端机中已经是标配,但“尚未成为推动消费者换机的明确理由”,支持GenAI的设备和用户真正日常使用AI功能的设备之间,仍然存在巨大鸿沟。
这里不是说端侧模型的技术进步没有意义,目前的出货量数据把AI手机打造成一个势不可挡的品类,但用户体验侧实际并没有跟上,真正决定端侧模型能否日常使用落在三个地方——后台、功耗以及入口上。
首先关于后台,手机APP主要运行在CPU上,而模型跑在GPU和NPU上,且3GB是峰值占用,计算上其实互不干扰。
第二是功耗,频繁的闪存与内存搬运带来的额外功耗增量大约在一成,当前版本运行模型的功耗与一款大型手游相当,通过算子优化和引擎融合,目标是在现有芯片上压到接近长时间听歌的水平。
第三是入口,V4.7的demo在iPhone上,但安卓、鸿蒙OS都可以做适配。不过面壁方面承认,目前更多面向技术开发人员,偏极客属性,会有一个时间差。
这里需要提一下,V4.6的1B版本就已经下探至千元机,安卓的设备可以跑到15 token/s甚至更高。这也是面壁同时给两个版本的原因,一个去打能力上界,一个去覆盖更多设备。
在现场分享时,姚远面对媒体提到一个被内部视为“最大认知更新”的发现。去年Agent刚火时,团队觉得强Agent能力至少需要1到2个T的模型,但现在7到8个B的dense模型已经在Agent任务上表现出不错的水平,“一个云端模型能达到的能力,端侧理论上都能做得到,只是时间问题”。
他给出一个经验判断,过去每一代旗舰模型基本能在两年内完成端侧落地,按这个速度,两到三年内GPT-6级别的旗舰能力在手机上跑起来也在合理预期内。
这个判断如果成立,它指向的终点并不是“AI手机”成为一个独立品类。姚远认为,眼下的阻碍一半是模型智能,另一半是各手机厂商的权限、数据与APP管理体系。
更大的问题,是当下人们对AI原生手机还缺乏想象力,本质上是在上一代形态的手机上想象下一代。未来大概率没有AI手机这个概念了,因为每个人手里的都是AI手机,至于它以什么形态存在,可能完全不是今天的硬件形态。
03、关于模型之外的事情
沿着这个思路继续讨论,假设AI手机不再是一个独立品类,意味着模型能力不再是稀缺品,那么产业里真正要重新分配的就是入口、权限与数据。
开篇三个场景——读取相册、记录通话内容,导航——有一个共性,它们都要调用系统里的私有数据。模型只保证了数据不出设备,并没有自动获得调用它们的资格。现在手机的权限按APP隔离,相册、通话、地图各在各的沙盒里,助手要跨过去得由系统单独授权。
前面我们提到过,模型跑在GPU/NPU、APP主要跑在CPU,计算上互不干扰。但模型能不能常驻后台,由系统调度决定。AI功能是400美元以上高端机的标配,却没成为消费者的换机理由,因为实际用一次要跨过好几道授权,这道鸿沟大概就在这儿。
这也是姚远先前提到的各手机厂商的权限、数据与APP管理体系,这部分需要终端厂商来做。系统级权限一旦放开,就涉及到利益与责任的重新划分。厂商想借端侧AI做差异化,但这些口子又不能全交给第三方,在接口开放之前,模型公司能拿到的多半只是SDK或预装层面的位置。面壁把V 4.7先做成面向开发者的demo,同时用1B版本下探千元机、在安卓上跑到15 token/s以上,也是先把能跑的设备铺开,等系统侧的口子。
再往外一层是云端。虽然端侧部署完成后几乎没有额外调用开销,但是并不意味着未来端侧就会取代云端,更可能是分层——高频、私密、弱网、低时延的留在设备,重推理、长上下文、需要实时世界知识的交给云。云端大模型可以看作是“后援支持”,把哪些任务交出去、什么时候交,又会成为新的分工。
所以两三年后,更值得关注的不是比还有多大的模型能跑进手机,反倒是整个行业开放合作的程度。模型公司、终端厂商、APP开发者与云端服务商,能否在系统层划出一条彼此都愿意接受的边界,比如有没有厂商把系统级接口开放给第三方模型,有几个高频 APP 同意助手读取,跨 APP 调用能不能不用每次弹窗,断网时除了导航还有多少功能可用......
姚远说,两到三年内GPT-6级别的旗舰能力在手机上跑起来按技术理论或许可以实现,但另外一半落在整个行业的权限体系、生态开放的迭代节奏里。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.