网易首页 > 网易号 > 正文 申请入驻

把350亿参数模型塞进手机,面壁只完成了第一步

0
分享至



撰文 | 雁 秋
编辑 | 李信马
题图 | IC Photo

以下几个场景,在2026年的旗舰机上已经很常见:

将手机切换到飞行模式,对着相册输入“5月份在上海”,相应的照片就会跳出来;打完半小时电话回忆,手机可以生成一段摘要并保留完整录音;行驶到山洞或者信号较弱的地方,导航软件依旧在运行......支撑这些体验的是正是端侧模型。

手机行业为什么要往端侧AI走?首先是要保护隐私,涉及通话、照片、个人信息等数据不出设备;另外,在断网的情况下也能使用;更现实的因素在成本,云端API成本虽有下调,但端侧部署完成后几乎没有额外调用开销。

这个节点上,面壁智能在10月中旬推出模型MiniCPM-V 4.7,包括35B-A3B和1B两个版本。在11月份的一场技术沟通会上,官方公开了MiniCPM-V 4.7的最新技术进展,在iPhone 18 Pro Max上,35B-A3B模型以约3GB运行内存实现了20.51 token/s的解码速度。经过进一步优化,团队又将这一数字提高至30 token/s以上。

这被视为端侧AI应用上的一大技术进展,它回应了手机终端厂商非常关心的问题:如何在内存和能耗都有限的情况下,塞进更大的端侧模型。

01.

“专家”不用全在内存里

怎么理解“35B-A3B”?我们可以把它想象成一家拥有350人规模的公司,但每回答一个问题,老板只叫3个人来干活——专业上,这叫混合专家架构(MoE)。

以前这样的模型想塞进手机基本是天方夜谭,一部配置较好的12GB内存手机,抛开系统占用,最多剩下约8GB可用,这还是假定模型独占其余全部资源,实际使用中后台往往还跑着几个程序。而35B模型即使Q4量化(4-bit Quantization,通常全精度模型的每个参数用32位浮点数存储,Q4量化将每个参数压缩为4位整数,体积缩小为原来的1/8),权重约15GB,也比8GB大了近一倍,装都装不进去,更谈不上运行。

MiniCPM-V 4.7解决了这个问题:“专家”不用全在内存里,谁需要谁上,用完放回去。关键是,速度还跟得上。

具体来看,面壁找到两条拆解路线。一条在硬件侧,手机除了12GB内存,还有大得多的闪存,用闪存存放15GB的模型权重是条可走的路。

另一条在模型侧,15GB看起来是一整块,但它的大部分参数由彼此独立、在很大程度上并行的“专家”组成,每生成一个token,各层只需要激活其中少数几个。

于是,MoE模型第一次在手机上有了可运行的形式。但这里需要澄清下,3GB是峰值运行内存,不是模型体积,内存里放的是当前层的激活专家、常驻的非专家部分与KV cache,权重整体仍在闪存里。

解决了容量问题,却引出另外的难点。如果算到某个token的某一层才确定需要哪些专家,再从闪存中调取,等待时间就会很长,甚至超过计算本身。测试显示,在iPhone 17 Pro Max上直接采用这种“按需加载”策略,解码速度只有每秒3个token,基本谈不上可用体验。

因此,面壁提出了一种解决方案——LES,前瞻专家调度(Lookahead Expert Scheduling,LES)。这一技术可以在前一层仍在计算时,就预测下一层可能激活的专家,并提前从闪存读取。如果预测足够准,加载延迟就可以被计算时间完全遮蔽。

这种预测本身也有一定风险,预测错了浪费权重,预测得太保守,延迟无法完全隐藏。LES的设计同时施加了多重约束,比如不减少激活专家数量、不替换专家、不引入额外的预测训练模块,并且将内存占用控制在3GB以内。

面壁智能的联席首席科学家姚远在分享会上提到,不到一个月内,团队把每秒3个token提到13,把iPhone 17换成18后,token直接到20,2.0版本在精度损失几乎可忽略的前提下,超过30 token/s,说明这套调度策略在真实硬件上具备可迭代性。

02.

技术上来了,体验还没跟上

端侧AI进手机已经成为未来的一种趋势,而且市场数据也验证了这个方向。IDC预测,2026年中国AI手机出货量将达到1.47亿台,渗透率升至53%,首次压过非AI机型。

与此同时还有另外一条线,Counterpoint 提出,GenAI在400美元以上高端机中已经是标配,但“尚未成为推动消费者换机的明确理由”,支持GenAI的设备和用户真正日常使用AI功能的设备之间,仍然存在巨大鸿沟。

这里不是说端侧模型的技术进步没有意义,目前的出货量数据把AI手机打造成一个势不可挡的品类,但用户体验侧实际并没有跟上,真正决定端侧模型能否日常使用落在三个地方——后台、功耗以及入口上。

首先关于后台,手机APP主要运行在CPU上,而模型跑在GPU和NPU上,且3GB是峰值占用,计算上其实互不干扰。

第二是功耗,频繁的闪存与内存搬运带来的额外功耗增量大约在一成,当前版本运行模型的功耗与一款大型手游相当,通过算子优化和引擎融合,目标是在现有芯片上压到接近长时间听歌的水平。

第三是入口,V4.7的demo在iPhone上,但安卓、鸿蒙OS都可以做适配。不过面壁方面承认,目前更多面向技术开发人员,偏极客属性,会有一个时间差。

这里需要提一下,V4.6的1B版本就已经下探至千元机,安卓的设备可以跑到15 token/s甚至更高。这也是面壁同时给两个版本的原因,一个去打能力上界,一个去覆盖更多设备。

在现场分享时,姚远面对媒体提到一个被内部视为“最大认知更新”的发现。去年Agent刚火时,团队觉得强Agent能力至少需要1到2个T的模型,但现在7到8个B的dense模型已经在Agent任务上表现出不错的水平,“一个云端模型能达到的能力,端侧理论上都能做得到,只是时间问题”。

他给出一个经验判断,过去每一代旗舰模型基本能在两年内完成端侧落地,按这个速度,两到三年内GPT-6级别的旗舰能力在手机上跑起来也在合理预期内。

这个判断如果成立,它指向的终点并不是“AI手机”成为一个独立品类。姚远认为,眼下的阻碍一半是模型智能,另一半是各手机厂商的权限、数据与APP管理体系。

更大的问题,是当下人们对AI原生手机还缺乏想象力,本质上是在上一代形态的手机上想象下一代。未来大概率没有AI手机这个概念了,因为每个人手里的都是AI手机,至于它以什么形态存在,可能完全不是今天的硬件形态。

03.

关于模型之外的事情

沿着这个思路继续讨论,假设AI手机不再是一个独立品类,意味着模型能力不再是稀缺品,那么产业里真正要重新分配的就是入口、权限与数据。

开篇三个场景——读取相册、记录通话内容,导航——有一个共性,它们都要调用系统里的私有数据。模型只保证了数据不出设备,并没有自动获得调用它们的资格。现在手机的权限按APP隔离,相册、通话、地图各在各的沙盒里,助手要跨过去得由系统单独授权。

前面我们提到过,模型跑在GPU/NPU、APP主要跑在CPU,计算上互不干扰。但模型能不能常驻后台,由系统调度决定。AI功能是400美元以上高端机的标配,却没成为消费者的换机理由,因为实际用一次要跨过好几道授权,这道鸿沟大概就在这儿。

这也是姚远先前提到的各手机厂商的权限、数据与APP管理体系,这部分需要终端厂商来做。系统级权限一旦放开,就涉及到利益与责任的重新划分。厂商想借端侧AI做差异化,但这些口子又不能全交给第三方,在接口开放之前,模型公司能拿到的多半只是SDK或预装层面的位置。面壁把V 4.7先做成面向开发者的demo,同时用1B版本下探千元机、在安卓上跑到15 token/s以上,也是先把能跑的设备铺开,等系统侧的口子。

再往外一层是云端。虽然端侧部署完成后几乎没有额外调用开销,但是并不意味着未来端侧就会取代云端,更可能是分层——高频、私密、弱网、低时延的留在设备,重推理、长上下文、需要实时世界知识的交给云。云端大模型可以看作是“后援支持”,把哪些任务交出去、什么时候交,又会成为新的分工。

所以两三年后,更值得关注的不是比还有多大的模型能跑进手机,反倒是整个行业开放合作的程度。模型公司、终端厂商、APP开发者与云端服务商,能否在系统层划出一条彼此都愿意接受的边界,比如有没有厂商把系统级接口开放给第三方模型,有几个高频 APP 同意助手读取,跨 APP 调用能不能不用每次弹窗,断网时除了导航还有多少功能可用......

姚远说,两到三年内GPT-6级别的旗舰能力在手机上跑起来按技术理论或许可以实现,但另外一半落在整个行业的权限体系、生态开放的迭代节奏里。





「创新无边界」是我们的slogan,我们不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向大胆迈进。因此,「打造行业新标杆、解读商业新动向」是我们秉持的方向之一。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
有人预测:未来五年内,中国股市很可能将消失的5类股票

有人预测:未来五年内,中国股市很可能将消失的5类股票

星语者056
2026-11-21 10:22:33
51岁网络主播车内性侵未成年女性,其亲属威逼利诱给被害人父亲60万元试图私了,检察机关介入后,主播获刑4年,亲属被追究刑事责任

51岁网络主播车内性侵未成年女性,其亲属威逼利诱给被害人父亲60万元试图私了,检察机关介入后,主播获刑4年,亲属被追究刑事责任

扬子晚报
2026-11-21 14:18:12
“DeepSeek们”都在退场:限额并非免费AI的终结?

“DeepSeek们”都在退场:限额并非免费AI的终结?

锌刻度
2026-11-20 17:23:46
甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

游民星空
2026-11-21 11:07:36
逆转!东契奇25+8+4,亨特30+6+2,马刺很无奈:西部第一易主

逆转!东契奇25+8+4,亨特30+6+2,马刺很无奈:西部第一易主

篮球大视野
2026-11-21 14:35:12
A股关键时刻,重磅政策终于落地!大利好来了

A股关键时刻,重磅政策终于落地!大利好来了

星图金融研究院
2026-11-21 15:07:29
蒋介石曾说:亡于日本,能为亡国奴;亡于共党,为奴亦不能

蒋介石曾说:亡于日本,能为亡国奴;亡于共党,为奴亦不能

墨策史
2026-11-04 15:27:40
2.3万亿美元“灰飞烟灭”!美国芯片股上一次跌这么惨,还是2001年,英伟达已经“跌掉一个亚马逊”

2.3万亿美元“灰飞烟灭”!美国芯片股上一次跌这么惨,还是2001年,英伟达已经“跌掉一个亚马逊”

华尔街见闻官方
2026-11-21 10:29:07
加拿大总理震动舆论,出席深圳 APEC 会议,公开称要借鉴深圳发展

加拿大总理震动舆论,出席深圳 APEC 会议,公开称要借鉴深圳发展

健身狂人
2026-11-21 11:35:16
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
为什么现在部分股民对中国股市有这么大的怨气?

为什么现在部分股民对中国股市有这么大的怨气?

星语者056
2026-11-21 10:21:43
浓眉哥36+11!奇才15分逆转双杀奇才 特雷杨制胜两罚迪班萨20+10

浓眉哥36+11!奇才15分逆转双杀奇才 特雷杨制胜两罚迪班萨20+10

醉卧浮生
2026-11-21 11:33:10
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

装甲铲史官
2026-11-20 10:35:11
沉迷短剧的第一批受害者出现了

沉迷短剧的第一批受害者出现了

LULU生活家
2026-11-21 18:14:01
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
中国香港飞巴新一客机凌晨备降,疑因右引擎着火 乘客回忆:飞行近3小时,坐紧急滑梯撤离

中国香港飞巴新一客机凌晨备降,疑因右引擎着火 乘客回忆:飞行近3小时,坐紧急滑梯撤离

红星新闻
2026-11-21 16:33:07
5.7GB压到1.7GB,他劝你别急着买内存

5.7GB压到1.7GB,他劝你别急着买内存

Ping值焦虑
2026-11-20 14:40:27
外媒:印度东北部发生假酒致人中毒事件,已致至少11人死亡、180余人入院

外媒:印度东北部发生假酒致人中毒事件,已致至少11人死亡、180余人入院

环球网资讯
2026-11-21 16:27:23
轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

轰51+6+6!登顶历史第一,阿特金森预言成真,哈登也彻底清醒了

体育火锅T
2026-11-21 12:51:57
2026-11-21 18:52:49
DoNews网站 incentive-icons
DoNews网站
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
577文章数 12关注度
往期回顾 全部

数码要闻

狗子一泡尿主机直接变砖!网友:先别开机还有救

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
艺术
时尚
旅游
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

赵孟頫将这件书法写了整整500遍,被誉为行书“教科书”,水平已接近王羲之!

今年冬天流行“大+小”穿法,时髦又显瘦!

旅游要闻

秀我中国|打卡嵩山 这条小众路线很不小众

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版