网易首页 > 网易号 > 正文 申请入驻

每次只激活60亿参数,它却跑赢更高激活量的对手:Qwen3.8-Flash-Next改了什么

0
分享至

一个数字,第一眼看上去不太合理。

通义千问刚发布Qwen3.8-Flash-Next,每个token只激活60亿参数,却在基准测试里追平甚至超过每个token激活130亿参数的DeepSeek-V4-Flash,以及170亿参数的Qwen3.7-Plus。在它自己的基础测试中,这个6B激活模型据称在14项测试里超过8项,对手的激活量都远高于它。


直觉会告诉你:模型越小,结果越差,事情一直差不多是这样。那为什么一个每个token算得更少的模型,能打赢算力是自己两到三倍的对手?

答案不是某种神奇的基准测试技巧,而是一个大多数人在看模型规格表时会跳过的概念。一旦弄明白它,当下AI效率竞赛里的很多事会突然变得清晰。

规格表上真正该看的数字

人们评估模型时,习惯引用总参数量——“这是个125B模型”“那是个400B模型”。这是标题里的数字,但对于成本和速度来说,它几乎是最不该关心的那个。

这里有两个数字,含义完全不同:

  • 总参数——模型在磁盘上的大小,它知道的一切都存储在权重里。这决定你需要多少内存来装下模型。
  • 激活参数——处理每个token时实际用到多少参数。这决定每个token要算多少,直接驱动推理成本、速度和延迟。

对传统稠密模型来说,这两个数字是一样的:每个参数对每个token都会触发。这简单、可预测,但也昂贵——不管这个token需不需要,你都在付全价。

过去几年的核心思路,就是打破这种绑定:让总参数量很大,模型知道得很多;让激活参数量很小,每个token算起来便宜。这正是Qwen3.8-Flash-Next能在磁盘上存下约1800亿参数,却只让每个token走60亿参数的原因。

一句话版本:总参数告诉你模型知道多少,激活参数告诉你运行它要花多少钱。看价格和速度,激活参数才是该盯的数字。

混合专家模型到底是怎么回事

把这两个数字解耦的技术叫混合专家模型(MoE),它比名字听起来更简单。

与其用一个每次全部触发的大网络,MoE把模型的大部分拆成许多更小的子网络,称为“专家”——Qwen3.8-Flash-Next有512个专家。每个token到来时,一个叫“路由器”的小组件只挑少数几个专家实际运行,其余专家对这个token保持空闲。

打个比方:一家医院有512位专科医生。病人进来时,你不会叫醒全部512位,而是把病人分给两三位相关专科医生。医院里沉淀着大量专业知识,但单次问诊只动用其中一小部分。

这就是MoE的效率来源:模型“知道”的很多,但每次“做事”只调用一点点。总参数和激活参数之间的差距,就是省下来的算力。

为什么6B激活能赢更高激活量

关键不在于“少算就更好”,而在于算得更准

稠密模型每个token都要让全部参数过一遍,其中大量计算对这个token可能毫无帮助。MoE模型则让路由器先判断这个token需要哪类知识,再把计算分配给最相关的专家。激活量虽然小,但每一份计算都更“对口”。

Qwen3.8-Flash-Next的512个专家池,给了路由器足够细的选择空间。每个token只激活6B参数,意味着它可以在更大的知识库中做更精准的调度,而不是像稠密模型那样把全部权重都压上去。

这也解释了为什么激活参数比总参数更能反映真实成本:你付的不是“模型有多大”,而是“每个token实际动用了多少计算”。当调度足够聪明,更少的激活量也能换来同等甚至更好的结果。

这场效率竞赛在争什么

Qwen3.8-Flash-Next的意义,不在于它又刷了一个榜单,而在于它把“激活参数”这个指标推到了更靠前的

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
李维康遗体告别仪式9月1日举行

李维康遗体告别仪式9月1日举行

北青网-北京青年报
2026-08-29 14:44:02
星宇股份校招裁员引众怒:中国资本家为何比国外老牌资本还坏?

星宇股份校招裁员引众怒:中国资本家为何比国外老牌资本还坏?

徐云流浪中国
2026-08-27 16:37:48
“降维打击”也难救主!中超提前锁定1降级名额,球迷:立省200万

“降维打击”也难救主!中超提前锁定1降级名额,球迷:立省200万

足球大腕
2026-08-29 23:42:50
前男篮国手马健:如果打黎巴嫩杨瀚森还是替补 说明只是嘴上信任他

前男篮国手马健:如果打黎巴嫩杨瀚森还是替补 说明只是嘴上信任他

狼叔评论
2026-08-29 18:24:19
人民日报狠批星宇:年赚16亿、现金20亿,却逼应届生二选一!

人民日报狠批星宇:年赚16亿、现金20亿,却逼应届生二选一!

王姐懒人家常菜
2026-08-29 00:57:15
泪目!泥石流扑向口岸的最后30秒,众人纷纷奔跑撤离,唯独一个身影逆着人流挥手呼喊……

泪目!泥石流扑向口岸的最后30秒,众人纷纷奔跑撤离,唯独一个身影逆着人流挥手呼喊……

上观新闻
2026-08-29 21:13:33
英媒:常冰玉赢德比夺排名赛首冠但并不精彩,赵心童发挥严重失常

英媒:常冰玉赢德比夺排名赛首冠但并不精彩,赵心童发挥严重失常

杨华评论
2026-08-29 23:26:58
芬兰曾被苏联打到割地11%,如今总统劝乌克兰:别学我们,该打就打

芬兰曾被苏联打到割地11%,如今总统劝乌克兰:别学我们,该打就打

桂系007
2026-08-27 10:33:53
中国广电的至暗时刻——从“独家生意”到工资发不出来的警示录

中国广电的至暗时刻——从“独家生意”到工资发不出来的警示录

生活新鲜市
2026-08-18 01:34:19
原来是亲兄弟!哥哥身价415亿,弟弟身价425亿,双双问鼎厦门首富

原来是亲兄弟!哥哥身价415亿,弟弟身价425亿,双双问鼎厦门首富

三农老历
2026-08-28 00:39:16
中国银行系统真实坏账水平有多严峻?

中国银行系统真实坏账水平有多严峻?

名人苟或
2026-08-27 07:04:22
景甜也是高段位大佬

景甜也是高段位大佬

贩财局
2026-08-28 13:40:30
中超历史最佳外援!43岁孔卡现身巴塞罗那,与第二任教练妻子游玩

中超历史最佳外援!43岁孔卡现身巴塞罗那,与第二任教练妻子游玩

小金体坛大视野
2026-08-29 19:40:03
拜仁5-1斯图加特!连续5年德甲开门红 5000万新援10分钟助攻双响

拜仁5-1斯图加特!连续5年德甲开门红 5000万新援10分钟助攻双响

我爱英超
2026-08-29 06:32:51
14岁少年冲进大海救3人,体力不支后果断松手,给所有人上了一课

14岁少年冲进大海救3人,体力不支后果断松手,给所有人上了一课

小虎新车推荐员
2026-08-29 00:40:10
不卖!阿尔及利亚求购歼16遭拒,转头拿下歼10:放心,绝对不亏!

不卖!阿尔及利亚求购歼16遭拒,转头拿下歼10:放心,绝对不亏!

辛苦的小陈拉
2026-08-28 12:54:33
荒唐保险女业务员七年开房180次,男子豪豪掷500多万买保险

荒唐保险女业务员七年开房180次,男子豪豪掷500多万买保险

张晓磊
2026-08-28 16:39:27
蒋超良受贿超7.46亿被判死缓并终身监禁:检举揭发他人有重大立功表现

蒋超良受贿超7.46亿被判死缓并终身监禁:检举揭发他人有重大立功表现

界面新闻
2026-08-28 17:21:37
菲军方警告中国!只要中方敢出手,菲律宾就直接开战,后果自负

菲军方警告中国!只要中方敢出手,菲律宾就直接开战,后果自负

掌秋看世界
2026-06-24 17:45:05
上海男篮12分大败!新赛季开门黑,李添荣25分,张镇麟缺席

上海男篮12分大败!新赛季开门黑,李添荣25分,张镇麟缺席

体坛瞎白话
2026-08-29 07:52:29
2026-08-30 01:19:00
我是一个养虾人
我是一个养虾人
有态度网友ytd
244文章数 76关注度
往期回顾 全部

科技要闻

美团扭亏为盈后,外卖大战结束了吗?

头条要闻

网友涌入西藏吉隆边防站账号留言:古道雄关请回复

头条要闻

网友涌入西藏吉隆边防站账号留言:古道雄关请回复

体育要闻

米兰、巴黎、拉莫斯、巴克拉:所得与所失

娱乐要闻

景甜风波彻底失控!杨紫被拉下水

财经要闻

刑自强:AI投资下半场中国蓄势待发

汽车要闻

东风日产NX8“喜柿橙意”限定色正式上市

态度原创

旅游
亲子
房产
本地
公开课

旅游要闻

官方回复:大理古城苍山门天桥计划安排上了!

亲子要闻

孕妈科普:孕期磕碰外伤,没有出血也不能掉以轻心

房产要闻

突发,三亚又大量卖地!

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版