网易首页 > 网易号 > 正文 申请入驻

300亿参数MoE大模型“装进”手机,高通携手合作伙伴推动端侧智能体落地

0
分享至

【环球网科技综合报道】当一个拥有300亿参数的MoE(混合专家)大模型能够完整部署在智能手机平台上,而无需依赖云端完成推理, AI体验会发生怎样的变化?北京时间9月22日,在2026骁龙峰会期间,高通宣布携手阶跃、无量火与江波龙开展四方合作,基于第六代骁龙8超级至尊版移动平台,将阶跃StepEdge-Omni 30B-MoE模型面向端侧进行深度适配与推理优化,打造具备自主服务和个性化能力的端侧智能体助手,并在峰会现场完成基于高通参考设计的演示,验证了复杂智能体AI工作流在智能手机上的部署与扩展能力。


第六代骁龙8超级至尊版移动平台

与每次推理均需激活全部参数的稠密模型相比,MoE模型仅按任务需要激活部分专家模块,在保持大模型容量与能力的同时,降低计算量和内存带宽需求。因此,MoE日益成为推动云端规模大模型向终端侧部署的技术路径之一,为智能体AI体验在智能手机、PC及其他终端落地提供了现实基础。

新一代移动平台为端侧大模型提供硬件支撑

第六代骁龙8超级至尊版移动平台搭载Qualcomm Oryon CPU、下一代Adreno GPU和重新设计的Hexagon NPU,并配备LPDDR6内存与高速存储通道,面向智能体AI体验提供计算支撑。

其中,定制Oryon CPU峰值频率达5GHz,并引入可扩展缓存架构Oryon FlexCache,支撑智能体多任务处理和系统规划能力;Adreno GPU引入针对AI负载打造的Adreno Matrix Cores,并支持Adreno Neural Fusion特性,将AI和图形处理结合;Hexagon NPU则面向智能体AI的Transformer工作负载引入Element Accelerator,并将大容量共享内存扩容50%,提升端侧推理性能。

四方协同优化,内存需求降低超50%

在硬件平台基础上,无量火的自研Ember推理引擎与Ember Kernel端侧编排内核,基于第六代骁龙8超级至尊版移动平台的AI性能和软件栈支持,以XCompute异构调度实现跨CPU/GPU/NPU的统一高性能编排,在不修改模型结构、不损失推理精度的前提下,使阶跃30B-MoE模型的运行内存需求较行业常规方案降低超50%。

基于江波龙提供的端侧AI存储解决方案,模型权重可从端侧闪存高效加载,通过存储与计算协同减少大模型对运行内存的持续占用,提升模型加载和运行效率。四方合作打造的端侧智能体助手,实现从邮件理解到行程规划、日历同步、航班酒店推荐、行程分享到邮件草拟的自主办公流程,全程本地完成,无需云端调用。

性能数据方面,得益于NPU+GPU双引擎协同,模型预填充吞吐性能超过330 Token/s,较NPU单引擎方案提升超过30%,解码吞吐性能超过28 Token/s,并能保持持续稳定运行,首个词元生成速率达到毫秒级,较云端API调用快数倍至数十倍。

端侧AI从概念走向规模化应用

高通技术公司高级副总裁兼手机业务总经理Chris Patrick表示,此次合作展现了硬件、软件、内存和AI模型等多个领域的技术进步,如何推动复杂的AI工作负载直接在移动终端上运行。通过与阶跃、无量火和江波龙合作,团队优化了阶跃30B-MoE模型在第六代骁龙8超级至尊版移动平台上的部署,在提升吞吐性能、降低内存需求的同时,实现了持续稳定的终端侧运行。这些成果有助于推动响应快速、注重隐私保护的AI体验直接在智能手机上运行。


高通技术公司高级副总裁兼手机业务总经理Chris Patrick

阶跃副总裁、端侧模型负责人俞刚表示,阶跃30B-MoE模型在第六代骁龙8超级至尊版移动平台上完成跑通和验证,平台的端侧算力释放了模型的推理能力,为低时延、高隐私的端侧智能体应用拓展了应用空间。

无量火CEO王瑜琨表示,基于第六代骁龙8超级至尊版移动平台,无量火自研的Ember推理引擎将大模型内存需求降低超过50%,让手机可以运行30B规模的MoE模型。期待与高通技术公司及生态伙伴深化协作,让手机成为个人智能终端,带来低延迟、高隐私的端侧AI体验。

江波龙副总裁、嵌入式存储事业部总经理黄强表示,端侧AI的规模化落地,离不开算力与存储的协同。江波龙将iSA存储智能体适配第六代骁龙8超级至尊版移动平台,通过存算协同释放平台算力价值,应对端侧大模型推理的存储需求。期待与高通技术公司持续深化生态协作,共同打造端侧AI解决方案,为终端用户带来稳定、可靠的本地AI体验。

从邮件处理到行程安排,一个300亿参数的智能体在手机本地完成全部推理,数据不出终端、响应以毫秒计——这项演示意味着,大参数MoE模型的端侧运行已从架构设想进入可验证的智能手机平台实践,并开始具备规模部署的技术条件。300亿参数MoE模型在旗舰移动平台上的完整端侧部署表明,通过模型架构与软硬件协同优化,智能手机正在具备运行更大规模模型、承载更复杂智能体任务的技术基础。随着硬件架构、推理引擎和存储方案的协同优化,更多复杂的AI能力有望在终端侧稳定运行,让个性化、低时延、注重隐私的智能体体验成为智能手机的日常功能。(心月)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不可思议!单日工时16.5小时!网传一汽车配套厂的用工曝光:员工干不过两月,工厂不停招人

不可思议!单日工时16.5小时!网传一汽车配套厂的用工曝光:员工干不过两月,工厂不停招人

火山詩话
2026-09-28 11:07:01
乌公开朝鲜战俘移交信息,韩国要求乌正式道歉,扎卢日内批泽连斯基作秀,李在明:深感遗憾

乌公开朝鲜战俘移交信息,韩国要求乌正式道歉,扎卢日内批泽连斯基作秀,李在明:深感遗憾

红星新闻
2026-09-28 13:15:38
这很科学:89%的人幻想过同时和多人发生性行为,算精神出轨吗?

这很科学:89%的人幻想过同时和多人发生性行为,算精神出轨吗?

宇宙时空
2026-05-26 18:20:10
叶一茜携女儿九寨沟出游,森碟亭亭玉立,优秀家教令人赞叹

叶一茜携女儿九寨沟出游,森碟亭亭玉立,优秀家教令人赞叹

娱你同欢
2026-09-27 17:47:39
女人被俘后有多惨?日本老兵:7个日军轮奸一人,井里填满尸体

女人被俘后有多惨?日本老兵:7个日军轮奸一人,井里填满尸体

千秋文化
2026-09-28 21:01:55
古代“夜壶”口那么小,女人怎么用?看完瞬间明白了

古代“夜壶”口那么小,女人怎么用?看完瞬间明白了

小豫讲故事
2026-09-15 06:00:24
明明有利好,股市却崩了,怎么回事?

明明有利好,股市却崩了,怎么回事?

格隆汇
2026-09-28 14:17:07
A股:今天,9月28日,突然跳水,释放了重要信号!

A股:今天,9月28日,突然跳水,释放了重要信号!

明心
2026-09-28 11:21:00
A股收评:跌懵了!

A股收评:跌懵了!

睿见投资
2026-09-28 16:25:46
央视采访,"小孩姐"陈妤颉隔空喊话汪顺:顺哥,你可以当我姐夫吗?顺哥是全球男神,特别帅

央视采访,"小孩姐"陈妤颉隔空喊话汪顺:顺哥,你可以当我姐夫吗?顺哥是全球男神,特别帅

开成运动会
2026-09-28 16:33:47
日男子靠发布反华和吹捧高市早苗视频,两周赚了50万日元,被停止广告收益后,仍要开设新账号

日男子靠发布反华和吹捧高市早苗视频,两周赚了50万日元,被停止广告收益后,仍要开设新账号

环球时报国际
2026-09-28 07:53:02
余文乐宣布离婚

余文乐宣布离婚

扬子晚报
2026-07-20 14:21:04
华为员工:我的人生很失败,赚了1000多万,买房赔了;孩子成绩全班倒数;媳妇每天不停的抱怨……

华为员工:我的人生很失败,赚了1000多万,买房赔了;孩子成绩全班倒数;媳妇每天不停的抱怨……

二胡的岁月如歌
2026-07-21 21:01:35
斯大林到底可怕到何种程度?实事求是地讲,人类史上几乎找不到第二个领袖,会像他一样,对自己身边的同僚和战友展开这般无情的清洗

斯大林到底可怕到何种程度?实事求是地讲,人类史上几乎找不到第二个领袖,会像他一样,对自己身边的同僚和战友展开这般无情的清洗

人生录
2026-08-18 00:05:08
Netflix出品的成人动漫,太过瘾了

Netflix出品的成人动漫,太过瘾了

来看美剧
2026-08-25 20:18:24
林雨薇27岁因伤退役网友:雷诺是中国田径黑洞 很多人跟着他练废了

林雨薇27岁因伤退役网友:雷诺是中国田径黑洞 很多人跟着他练废了

劲爆体坛
2026-09-28 10:43:12
裤衩开叉10厘米!被网暴5年!铁三女神夺亚军又被骂,裁判:合规

裤衩开叉10厘米!被网暴5年!铁三女神夺亚军又被骂,裁判:合规

番外行
2026-06-07 15:53:29
带着袁姗姗回西安!陕西籍知名男演员:欢迎大家来到我的世界

带着袁姗姗回西安!陕西籍知名男演员:欢迎大家来到我的世界

可乐谈情感
2026-09-28 07:55:36
高水平外资,在打骨折卖商业大楼

高水平外资,在打骨折卖商业大楼

老凤说财经
2026-08-03 11:17:22
几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

星星跌入梦里中
2026-09-26 05:47:11
2026-09-29 00:31:00
环球Tech incentive-icons
环球Tech
环球科技范儿,关注科技圈动态
54628文章数 65211关注度
往期回顾 全部

科技要闻

赛力斯华为合作模式生变后 余承东再次回应

头条要闻

王楚钦:现在打球环境没那么纯粹 像慢性毒药消耗自己

头条要闻

王楚钦:现在打球环境没那么纯粹 像慢性毒药消耗自己

体育要闻

王楚钦回应:找不回以前打球的感觉

娱乐要闻

去世刚2天,人民日报对刘欢的称呼改了

财经要闻

英伟达新增1500亿美元股票回购授权

汽车要闻

搭载豆包大模型/智驾升级 深蓝S07 AI激光版上市14.99万元起

态度原创

亲子
时尚
教育
旅游
公开课

亲子要闻

工程车小故事:排队洗澡

秋天连衣裙应该怎么穿才好看?搭配这四款外套,舒适高级又优雅

教育要闻

全国首个!C9大学,获批一交叉学科博士点

旅游要闻

贵州最被低估的古镇,褪去滤镜,每一块青石都藏着岁月温柔!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版