网易首页 > 网易号 > 正文 申请入驻

把350亿参数模型塞进手机,面壁只完成了第一步

0
分享至


撰文 | 雁秋

编辑 | 李信马

题图 | IC Photo

以下几个场景,在2026年的旗舰机上已经很常见:

将手机切换到飞行模式,对着相册输入“5月份在上海”,相应的照片就会跳出来;打完半小时电话回忆,手机可以生成一段摘要并保留完整录音;行驶到山洞或者信号较弱的地方,导航软件依旧在运行......支撑这些体验的是正是端侧模型。

手机行业为什么要往端侧AI走?首先是要保护隐私,涉及通话、照片、个人信息等数据不出设备;另外,在断网的情况下也能使用;更现实的因素在成本,云端API成本虽有下调,但端侧部署完成后几乎没有额外调用开销。

这个节点上,面壁智能在10月中旬推出模型MiniCPM-V 4.7,包括35B-A3B和1B两个版本。在11月份的一场技术沟通会上,官方公开了MiniCPM-V 4.7的最新技术进展,在iPhone 18 Pro Max上,35B-A3B模型以约3GB运行内存实现了20.51 token/s的解码速度。经过进一步优化,团队又将这一数字提高至30 token/s以上。

这被视为端侧AI应用上的一大技术进展,它回应了手机终端厂商非常关心的问题:如何在内存和能耗都有限的情况下,塞进更大的端侧模型。

01、“专家”不用全在内存里

怎么理解“35B-A3B”?我们可以把它想象成一家拥有350人规模的公司,但每回答一个问题,老板只叫3个人来干活——专业上,这叫混合专家架构(MoE)。

以前这样的模型想塞进手机基本是天方夜谭,一部配置较好的12GB内存手机,抛开系统占用,最多剩下约8GB可用,这还是假定模型独占其余全部资源,实际使用中后台往往还跑着几个程序。而35B模型即使Q4量化(4-bit Quantization,通常全精度模型的每个参数用32位浮点数存储,Q4量化将每个参数压缩为4位整数,体积缩小为原来的1/8),权重约15GB,也比8GB大了近一倍,装都装不进去,更谈不上运行。

MiniCPM-V 4.7解决了这个问题:“专家”不用全在内存里,谁需要谁上,用完放回去。关键是,速度还跟得上。

具体来看,面壁找到两条拆解路线。一条在硬件侧,手机除了12GB内存,还有大得多的闪存,用闪存存放15GB的模型权重是条可走的路。

另一条在模型侧,15GB看起来是一整块,但它的大部分参数由彼此独立、在很大程度上并行的“专家”组成,每生成一个token,各层只需要激活其中少数几个。

于是,MoE模型第一次在手机上有了可运行的形式。但这里需要澄清下,3GB是峰值运行内存,不是模型体积,内存里放的是当前层的激活专家、常驻的非专家部分与KV cache,权重整体仍在闪存里。

解决了容量问题,却引出另外的难点。如果算到某个token的某一层才确定需要哪些专家,再从闪存中调取,等待时间就会很长,甚至超过计算本身。测试显示,在iPhone 17 Pro Max上直接采用这种“按需加载”策略,解码速度只有每秒3个token,基本谈不上可用体验。

因此,面壁提出了一种解决方案——LES,前瞻专家调度(Lookahead Expert Scheduling,LES)。这一技术可以在前一层仍在计算时,就预测下一层可能激活的专家,并提前从闪存读取。如果预测足够准,加载延迟就可以被计算时间完全遮蔽。

这种预测本身也有一定风险,预测错了浪费权重,预测得太保守,延迟无法完全隐藏。LES的设计同时施加了多重约束,比如不减少激活专家数量、不替换专家、不引入额外的预测训练模块,并且将内存占用控制在3GB以内。

面壁智能的联席首席科学家姚远在分享会上提到,不到一个月内,团队把每秒3个token提到13,把iPhone 17换成18后,token直接到20,2.0版本在精度损失几乎可忽略的前提下,超过30 token/s,说明这套调度策略在真实硬件上具备可迭代性。

02、技术上来了,体验还没跟上

端侧AI进手机已经成为未来的一种趋势,而且市场数据也验证了这个方向。IDC预测,2026年中国AI手机出货量将达到1.47亿台,渗透率升至53%,首次压过非AI机型。

与此同时还有另外一条线,Counterpoint 提出,GenAI在400美元以上高端机中已经是标配,但“尚未成为推动消费者换机的明确理由”,支持GenAI的设备和用户真正日常使用AI功能的设备之间,仍然存在巨大鸿沟。

这里不是说端侧模型的技术进步没有意义,目前的出货量数据把AI手机打造成一个势不可挡的品类,但用户体验侧实际并没有跟上,真正决定端侧模型能否日常使用落在三个地方——后台、功耗以及入口上。

首先关于后台,手机APP主要运行在CPU上,而模型跑在GPU和NPU上,且3GB是峰值占用,计算上其实互不干扰。

第二是功耗,频繁的闪存与内存搬运带来的额外功耗增量大约在一成,当前版本运行模型的功耗与一款大型手游相当,通过算子优化和引擎融合,目标是在现有芯片上压到接近长时间听歌的水平。

第三是入口,V4.7的demo在iPhone上,但安卓、鸿蒙OS都可以做适配。不过面壁方面承认,目前更多面向技术开发人员,偏极客属性,会有一个时间差。

这里需要提一下,V4.6的1B版本就已经下探至千元机,安卓的设备可以跑到15 token/s甚至更高。这也是面壁同时给两个版本的原因,一个去打能力上界,一个去覆盖更多设备。

在现场分享时,姚远面对媒体提到一个被内部视为“最大认知更新”的发现。去年Agent刚火时,团队觉得强Agent能力至少需要1到2个T的模型,但现在7到8个B的dense模型已经在Agent任务上表现出不错的水平,“一个云端模型能达到的能力,端侧理论上都能做得到,只是时间问题”。

他给出一个经验判断,过去每一代旗舰模型基本能在两年内完成端侧落地,按这个速度,两到三年内GPT-6级别的旗舰能力在手机上跑起来也在合理预期内。

这个判断如果成立,它指向的终点并不是“AI手机”成为一个独立品类。姚远认为,眼下的阻碍一半是模型智能,另一半是各手机厂商的权限、数据与APP管理体系。

更大的问题,是当下人们对AI原生手机还缺乏想象力,本质上是在上一代形态的手机上想象下一代。未来大概率没有AI手机这个概念了,因为每个人手里的都是AI手机,至于它以什么形态存在,可能完全不是今天的硬件形态。

03、关于模型之外的事情

沿着这个思路继续讨论,假设AI手机不再是一个独立品类,意味着模型能力不再是稀缺品,那么产业里真正要重新分配的就是入口、权限与数据。

开篇三个场景——读取相册、记录通话内容,导航——有一个共性,它们都要调用系统里的私有数据。模型只保证了数据不出设备,并没有自动获得调用它们的资格。现在手机的权限按APP隔离,相册、通话、地图各在各的沙盒里,助手要跨过去得由系统单独授权。

前面我们提到过,模型跑在GPU/NPU、APP主要跑在CPU,计算上互不干扰。但模型能不能常驻后台,由系统调度决定。AI功能是400美元以上高端机的标配,却没成为消费者的换机理由,因为实际用一次要跨过好几道授权,这道鸿沟大概就在这儿。

这也是姚远先前提到的各手机厂商的权限、数据与APP管理体系,这部分需要终端厂商来做。系统级权限一旦放开,就涉及到利益与责任的重新划分。厂商想借端侧AI做差异化,但这些口子又不能全交给第三方,在接口开放之前,模型公司能拿到的多半只是SDK或预装层面的位置。面壁把V 4.7先做成面向开发者的demo,同时用1B版本下探千元机、在安卓上跑到15 token/s以上,也是先把能跑的设备铺开,等系统侧的口子。

再往外一层是云端。虽然端侧部署完成后几乎没有额外调用开销,但是并不意味着未来端侧就会取代云端,更可能是分层——高频、私密、弱网、低时延的留在设备,重推理、长上下文、需要实时世界知识的交给云。云端大模型可以看作是“后援支持”,把哪些任务交出去、什么时候交,又会成为新的分工。

所以两三年后,更值得关注的不是比还有多大的模型能跑进手机,反倒是整个行业开放合作的程度。模型公司、终端厂商、APP开发者与云端服务商,能否在系统层划出一条彼此都愿意接受的边界,比如有没有厂商把系统级接口开放给第三方模型,有几个高频 APP 同意助手读取,跨 APP 调用能不能不用每次弹窗,断网时除了导航还有多少功能可用......

姚远说,两到三年内GPT-6级别的旗舰能力在手机上跑起来按技术理论或许可以实现,但另外一半落在整个行业的权限体系、生态开放的迭代节奏里。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
内塔尼亚胡:我提议,就由我来担任唯一的总理

内塔尼亚胡:我提议,就由我来担任唯一的总理

寰宇大观察
2026-11-21 14:12:23
特朗普点赞深圳,称美国一些城市“脏得让人恶心”

特朗普点赞深圳,称美国一些城市“脏得让人恶心”

极目新闻
2026-11-21 09:44:24
7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

喜欢体育的猫
2026-11-21 10:36:48
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
前10月全国税收收入增长6%,其中个税收入增长22.9%

前10月全国税收收入增长6%,其中个税收入增长22.9%

风向观察
2026-11-20 18:17:34
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
发布会上说“开车是可以睡觉的,别睡死过去就行了”,余承东纠正:讲的不准确,现在还是L2时代,大家一定要注意安全,开车不能睡觉

发布会上说“开车是可以睡觉的,别睡死过去就行了”,余承东纠正:讲的不准确,现在还是L2时代,大家一定要注意安全,开车不能睡觉

蓬勃新闻
2026-11-20 21:56:53
“产品难道要卖给空气”,299台注塑机仅8名工人,引全网热议!网友:机器人必须交税,把税发给失业的人

“产品难道要卖给空气”,299台注塑机仅8名工人,引全网热议!网友:机器人必须交税,把税发给失业的人

火山詩话
2026-11-21 07:08:37
数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

可达鸭面面观
2026-11-21 08:21:38
上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

大风新闻
2026-11-21 09:12:09
金价跌破760,北京菜百金条卖断货:有人一次入手85万元,有人高位囤金“扛着”

金价跌破760,北京菜百金条卖断货:有人一次入手85万元,有人高位囤金“扛着”

华夏时报
2026-11-20 22:15:03
英伟达,被查

英伟达,被查

第一财经资讯
2026-11-21 13:41:17
普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

聊斋新志
2026-11-18 16:53:43
“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

“长不大的巨婴,及时分手”!四川女生因糖葫芦被男友吃了一个暴怒,扔掉肯德基躺人行道打滚,男生满脸通红苦劝

王老师你还好吗
2026-11-21 13:25:53
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
德州发布最新人事任免

德州发布最新人事任免

中国山东网
2026-11-21 12:52:14
姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

开成运动会
2026-11-21 11:24:38
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
特朗普在回国的专机上,有件事让他很着急,事关中美的“大买卖”

特朗普在回国的专机上,有件事让他很着急,事关中美的“大买卖”

麓谷隐士
2026-11-21 15:01:54
2026-11-21 18:48:49
DoNews incentive-icons
DoNews
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
110690文章数 26970关注度
往期回顾 全部

数码要闻

大疆多款产品“如期”涨价:涉Osmo Pocket 4/4P/Nano,最高涨560元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
艺术
本地
时尚
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版