网易首页 > 网易号 > 正文 申请入驻

面壁智能首席科学家姚远:端侧智能当下处于“撞线前夜”

0
分享至

中经记者 曲忠芳 北京报道

“想象一下,如果你有一个神奇的魔法棒,点一下就能让GPT-6(OpenAI旗下的最新大模型)直接跑在手机上,那为什么它们不做这件事呢?”11月5日,在面壁智能技术分享会上,面壁智能多模态大模型实验室算法研究员蔡天驰用这样一个反问句直白地指出了做端侧智能的必要性。

不同于大众更为熟知的通用大模型,端侧模型是指部署在手机、电脑、汽车等终端设备上运行的AI模型,它在设备本地处理任务,而不必每次都把数据发到云端服务器。这考验的是,模型必须在手机等设备有限的算力、内存和存储空间里运行,还要做到响应够快、功耗更低。

最近半年里,面壁智能先后发布了MiniCPM-V4.6、V4.7端侧多模态大模型及其不同版本,目前第一次实现了35B(指参数量为350亿)、MoE(混合专家架构)模型上手机。本次会议上,面壁智能首席科学家姚远携其团队接受了包括《中国经营报》在内的媒体记者的采访,针对端侧智能的发展现状、技术趋势给出了面壁智能的判断与观察。

对端侧智能的趋势判断

姚远指出,智能的发展可以类比“计算”:最早电脑能够提供的计算能力非常弱,只能依赖大型机;后来计算能力逐步进入个人电脑(PC)和手机,计算能力持续提升,发展至今,几十亿台PC和手机以及200多亿接入互联网的物联网设备,绝大多数用户在大多数时间里并不需要租用云端服务器,就能完成自己的各类任务。由此,计算设备实现了小型化、高效化和普惠化。

在姚远看来,端侧智能很可能会走与计算相似的路,即模型能力逐渐走出云端,来到用户手边的终端设备。“参照个人计算的路径,个人智能的发展进程,关键在于供给。”

那么,现在端侧智能发展到什么阶段了?用户究竟能够获得什么样的个人智能?

针对这一问题,姚远向本报记者回应道,从用户视角来看,最直接能够体验到的是“很多特别难的、之前想象不到的能在手机上跑的问题,现在能跑了,也就是智能水平的提升”;另一个感受则是推理速度提高,以及功耗、内存限制等会肉眼可见地改善。“关于未来,我们希望有一个足够强的模型,以足够低的功耗,在我们身边实时地运行。”姚远表示,“比如我们最近在做的全模态模型,它会像人一样能够实时与用户交互,尽管它当下的计算开销是非常大的,但未来或许就可以在手机上跑,用户所有的数据都不出户,交互的上下文全都掌握。这对于用户来说将是一个足够有吸引力的状态。”

现场,姚远将端侧智能的发展阶段定义为“撞线前夜”。他从技术供给与场景需求两条相对独立、客观发展的线来解释,一方面技术供给推动计算密度持续提升,另一方面个人办公等需求有相应的计算密度门槛。“在达到这条线之前,个人智能就处于‘大型机’时代,当供给的计算密度撞线,就会进入‘PC’时代,而进一步撞线,就会进入‘移动智能’时代。”

当记者进一步问及当下令消费者眼花缭乱又难以分辨的“AI手机”“AI原生手机”或“智能体手机”时,姚远认为:“AI原生手机肯定是希望很多任务能够直接帮用户完成,但基于现在的手机生态,面临的阻碍一方面是模型智能,另一方面是不同手机厂商的权限许可及管理体系。”不过,在姚远看来,现在无论是产业界,还是消费者,“对于AI原生手机普遍缺乏足够的想象力,只能把一些显而易见的事情让AI局部解决一下,节省一点时间而已。”

模型迭代升级的方向

面壁智能技术团队在现场向记者演示了MiniCPM-V4.7 35B-A3B模型在一台iPhone 18 Pro Max手机上的运行。姚远介绍,模型发布时的输出速度约为每秒20个Token(词元),近期优化后,演示版本已超过每秒30个Token,内存占用约3GB。

为什么要关注输出速度?姚远解释,低于每秒8个Token时,用户会觉得有些卡;当达到每秒15个左右时,用户与模型的交互对话就会比较流畅;由此再快,回答速度就会超过用户的阅读速度。因此,端侧模型的目标不只是能在手机上跑,还要在有限的物理资源下达到日常使用可接受的速度。

速度提升的背后,是对手机存储、内存和模型结构等方面的算法协同优化。蔡天驰介绍,模型参数规模达35B,每次生成内容时实际只调用部分专家,团队通过提前预测下一步可能调用的专家,并在当前计算过程中从闪存预读权重,减少等待;同时调整权重存放方式、压缩部分数据,并改进解码流程。

姚远表示,优化希望在不明显影响模型输出质量的前提下提升速度,也要控制内存占用,给手机上的其他应用留出空间。与此同时,端侧模型的发展不只看高端手机跑得多快,姚远指出,随着芯片和推理技术的进步,流畅运行的能力有望逐步下沉到更多机型。事实上,面壁智能今年5月发布的MiniCPM-V4.6模型已经应用到了千元级安卓手机上。

对于端侧智能接下来的发展,姚远表示,端侧智能最大的技术含量本质上就一点,即“在端侧上提供最强的智能”。在他看来,端侧模型的竞争不是比拼参数规模,更重要的是在终端有限的资源下,把智能能力真正交到用户手中。

(编辑:张靖超 审核:李正豪 校对:陈丽)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
谁也没料到,五常里先沉不住气的是法国!法国外长直接把电话打到中国,王毅亲自接听,联合国秘书长之争进入最后摊牌。

谁也没料到,五常里先沉不住气的是法国!法国外长直接把电话打到中国,王毅亲自接听,联合国秘书长之争进入最后摊牌。

唠叨说历史
2026-11-18 14:54:51
日方明显低估了事情的严重性!日方原以为,中国作为APEC东道主,总要给峰会留几分余地。可现实是,会议临近,中方并没有释放关系缓和信号

日方明显低估了事情的严重性!日方原以为,中国作为APEC东道主,总要给峰会留几分余地。可现实是,会议临近,中方并没有释放关系缓和信号

扶苏聊历史
2026-11-17 17:17:29
台湾女生对郑丽文抛出“三连问”,问得又准又狠:

台湾女生对郑丽文抛出“三连问”,问得又准又狠:

叶老四
2026-11-17 19:36:33
华为员工:我的人生很失败,赚了1000多万,买房赔了;孩子成绩全班倒数;媳妇每天不停的抱怨……

华为员工:我的人生很失败,赚了1000多万,买房赔了;孩子成绩全班倒数;媳妇每天不停的抱怨……

LULU生活家
2026-07-21 21:01:36
陕西女警花卧底被揪出,被歹徒折磨7天解救:人都已经垮了

陕西女警花卧底被揪出,被歹徒折磨7天解救:人都已经垮了

罪案洞察者
2025-03-07 08:59:25
国乒王牌名将再退赛!王皓无奈批准,王楚钦带团夺金难上加难了

国乒王牌名将再退赛!王皓无奈批准,王楚钦带团夺金难上加难了

曹说体育
2026-11-18 16:17:30
北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

北京八宝山,数万坟位期满却无人再缴,并非儿孙不孝,实在是家里兜不住了

扶苏聊历史
2026-11-04 18:20:53
俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

环球网资讯
2026-11-18 11:06:11
和合共生|APEC观察:亚太自贸区愿景如何落实为共同行动

和合共生|APEC观察:亚太自贸区愿景如何落实为共同行动

上观新闻
2026-11-17 20:25:35
发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

疯狂的小历史
2026-11-17 11:55:25
哈萨克斯坦也没想到,跟着中国混来混去,结果也混成了个“霸主”

哈萨克斯坦也没想到,跟着中国混来混去,结果也混成了个“霸主”

共工之锚
2026-11-17 00:29:44
45岁仍拍三级片,败光两任亿万家产,62岁坦言后悔嫁给钟镇涛

45岁仍拍三级片,败光两任亿万家产,62岁坦言后悔嫁给钟镇涛

一号崽崽
2026-11-18 21:02:26
黄仁勋又下了步臭棋,前脚声明要回归英伟达,后脚就被董事会拒绝

黄仁勋又下了步臭棋,前脚声明要回归英伟达,后脚就被董事会拒绝

光电科技君
2026-11-18 11:31:59
中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

中央动真格!2027年底前,全国所有住房都将迎来唯一“身份证”?

心灵的触动a
2026-11-17 23:49:36
成都男子回家吓一跳:酒柜层板坍塌,50多瓶珍藏酒悬空卡门,最贵的一瓶蓝色茅台摇摇欲坠

成都男子回家吓一跳:酒柜层板坍塌,50多瓶珍藏酒悬空卡门,最贵的一瓶蓝色茅台摇摇欲坠

青科新闻
2026-11-18 15:25:43
越南公安部副部长的女儿,在网上肆无忌惮晒奢侈生活,老百姓拿她没办法,这是人家的合法收入

越南公安部副部长的女儿,在网上肆无忌惮晒奢侈生活,老百姓拿她没办法,这是人家的合法收入

怪味历史连连看
2026-11-16 12:21:28
世体:若发现JJ-加布里埃尔合同期被接触证据,曼联不排除启动法律程序

世体:若发现JJ-加布里埃尔合同期被接触证据,曼联不排除启动法律程序

懂球帝
2026-11-18 23:36:09
中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

圆圆神神神
2025-08-09 21:49:27
还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

还记得你和异性做过最疯狂的事吗?网友:我差不多就是这样和同事发生了

带你感受人间冷暖
2026-11-14 15:59:30
大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

妍妍教育日记
2026-08-23 10:10:12
2026-11-19 02:16:49
中国经营报 incentive-icons
中国经营报
中国经营报微博由《中国经营报》社有限公司运营,与中国企业同步成长
30760文章数 30319关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

亲子
家居
手机
本地
公开课

亲子要闻

宝宝气人但是聪明的4个行为

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版