Qwen4提前剧透，架构这块底牌被掀开了！

智猩猩AI整理

编辑：林夕

Qwen这次又玩了一次提前剧透，预告了一款新模型——Qwen3.8-Flash-Next。

它直接采用下一代Qwen4架构，提前把Qwen4的技术路线摆到了桌面上。

按照目前ModelScope官方预告信息，Qwen3.8-Flash-Next将在北京时间8月26日23:00左右开放权重，原版与FP8双版本同步放出。

为什么选择提前开源？

官方的说法是让社区提前准备runtime、量化方案与inference engine，模型还没正式落地，生态已经开始跟进。

Unsloth联合创始人Daniel Han随后确认团队在做day-zero支持。

同时，在预告页刚上线时还放了一段完整的Highlights，但很快被官方删除。

@AiBattle在X上及时截到了全文，这是目前关于这次发布最完整的一手文字记录：

01

参数、记忆、Attention，

Qwen开始全面做稀疏

删掉的Highlights里，信息密度最高的是第一行：125B主模型参数、额外51B的 N-gram Embeddings、每token激活6B。

其实回答的是同一个问题：怎么让模型知道得更多，同时算得更少？

（1）125B参数，却只激活6B

6B的激活量，是MoE最核心的一笔交易，模型内部被切成大量专家网络，每个Token到来时，由路由器挑出少数几个专家参与计算，其余专家全部休眠。

所以，125B是模型的总容量，6B是每个Token真正付出的计算量。算力账按6B付，知识容量按125B存。

而这个剪刀差，正在被Qwen一代代拉大。

Qwen3-Next-80B-A3B是80B存、3B付，占比3.75%；Qwen3.8-2.4T-A95B是2.4T存、95B付，约4%；到了Flash-Next，125B只激活6B，占比约4.8%。

存得越来越多，真正需要算的却越来越少，然而这条曲线不是自然形成的，而是Qwen在主动把模型容量和计算成本拆开。

当然，在这三个数字里，125B和6B其实还算Qwen的常规操作，真正反常规的，是旁边那块51B。

（2）51B N-gram，到底是在干什么？

51B N-gram Embeddings，可以理解成一张可以训练的巨型查找表。N-gram指连续几个Token组成的局部组合。

比如“人工”“智能”连续出现，可以形成2-gram；代码里的for i in，则可以形成3-gram。

模型会根据最近几个Token计算相关信息，再通过Hash找到对应位置，从表里取出向量，混入当前的hidden state。

它有点像一本随查随用的常用短语手册，高频的局部搭配，不必每次都让主模型重新计算；能查到的，直接拿来用。

主网络因此可以把更多计算预算留给真正需要理解、推理和决策的问题。

但看到51B，第一反应很容易是：这么大的参数量，不会把推理成本直接炸掉吗？

关键就在于，它不是把51B参数每次全部算一遍，每个Token只会访问其中极少数N-gram条目，读取对应的向量，再参与后续计算。

所以它的成本结构和普通稠密权重完全不同：

51B主要贡献的是存储容量，而不是每个Token对应的等比例计算量。

这也是Flash-Next最值得关注的地方之一：Qwen不是简单地继续给模型堆参数，而是在尝试给主模型外挂一套超大规模、稀疏访问的记忆。

而到了Attention，这套把存储和计算拆开的思路还在继续。

Qwen又开始动Attention了

这次动了两个地方：一个是延续，一个是全新。

延续的是GDN（Gated Delta Network），属于线性注意力路线。

它维护一个固定大小的recurrent state，通过learned gating和Delta rule持续更新，状态规模不会随着序列长度不断膨胀。

传统Transformer则是另一套账，每产生一个Token，就继续往KV Cache里堆一份Key和Value。上下文越长，这本历史账本就越厚，显存和计算压力也跟着上升。

GDN做的事情，就是用固定规模的state，替代这本不断变厚的账本。

但纯线性注意力有一个问题：精确检索能力通常不如全注意力，所以Qwen的解法不是彻底抛弃Transformer，而是做混合。

大部分层走GDN，少量层保留全注意力，在效率和精确检索之间做平衡，Flash-Next延续了这条路线，配置为69层GDN + 23层全注意力，仍然是3:1的比例。

但这次又多了一个全新的组件：QSA（Qwen Sparse Attention）。

这也是目前预览信息里最大的悬念，具体实现还没有公开，但从命名来看，它针对的正是Attention本身的稀疏化。

如果GDN解决的是大部分序列计算的效率问题，那么QSA进一步瞄准的，就是混合架构里剩下的全注意力计算。

也就是说，Qwen连最后这块高成本区域，也开始动手了。

02

Qwen为什么开始

疯狂强调Long-Horizon？

线索藏在官方的话术里。Highlights 强调的 agentic coding、long-horizon tasks、multimodal intelligence，前两个词都指向小时级的任务。

Long-horizon 意味着什么？一个agent写代码，可能要跑几百轮工具调用，上下文累积到几十万 token。任务本身的长度成了负载。

比如一个Coding Agent，从理解需求开始，到读代码、改代码、运行测试、读取报错，再继续修改，可能要经历上百轮工具调用。上下文一路累积，最后真正成为模型的负载。

传统Transformer在这个场景下有一笔死账。KV cache随token数线性堆积，长任务跑到后半程，算力大量花在搬运历史上，而不是生成新内容。

这也是为什么回头看Flash-Next这套架构，会发现前面那些看似分散的设计，其实都在解决同一个问题。

GDN用固定规模的state压住长上下文成本；N-gram通过稀疏查表处理局部模式；QSA则进一步压缩Attention本身的计算。

它们没有一个是单纯为了让短对话更快。目标很明确是让模型能够在更长的任务里持续工作，同时不要让计算成本跟着任务长度一起失控。

这也顺带解释了6B激活的定位。agent的调用是高频、批量、长尾的，推理单价直接决定这类应用能不能成立：单次调用便宜还不够，跑一整天不破产才算过关。

Highlights的最后一条：训练成本约为Qwen3.7-Plus的1/9，整体能力相当，coding与cowork场景更强。

所以Flash-Next强调的，其实不是单纯的低成本模型，而是让低成本成为Agent长时间运行的基础设施。

这套架构最终要回答的，还是一个非常现实的问题：这么多改动，究竟换来了什么？

Highlights给出的答案是：训练成本约为Qwen3.7-Plus的1/9，同时整体能力相当，并在coding和cowork场景更强。

这个数字目前还需要等完整技术报告和实际训练细节进一步验证，但它至少说明了Qwen在这代架构上追求的方向。

而且，这并不是Qwen第一次把成本直接写进模型发布材料。

此前Qwen3-Next发布时，官方也曾给出过类似的效率对照：训练计算量仅为Qwen3-32B的9.3%，但Qwen3-Next-80B-A3B-Instruct的整体表现已经接近Qwen3-235B-A22B旗舰模型。

这张图就是当时的能力对比。

两次发布相隔一年，方向没有变过。容量往上堆，成本往下压，中间的差额就是架构设计赚出来的钱。

03

Qwen4已经进入

正式发布前的倒计时

8月3日，Qwen3.8-Max闭源发布；8月12日，Qwen3.8-2.4T-A95B开源；8月中旬，27B稠密版跟上；8月26日，Flash-Next亮相，直接给出了下一代Qwen4架构的预览。

短短几周，Qwen几乎是两周一个版本。

如果参考Qwen3-Next从架构预览到后续正式采用的节奏，Qwen4完整家族距离正式亮相，可能已经不是遥遥无期，而是进入了以月为单位的倒计时。

而Flash-Next真正的角色，也就越来越清晰了。

它更像是Qwen4的先头部队：提前把下一代架构的成本结构、稀疏策略和N-gram外挂记忆摊到台面上，让推理框架、量化工具和开源社区先适配，让开发者先跑起来，也让用户先验证这套架构究竟能不能打。

所以，Qwen4还没有正式登场，但从Flash-Next开始，下一代Qwen已经把第一块底牌摆到了桌面上。

今晚23点，等权重真正落地，这场关于Qwen4的提前预演，才算正式开始。

关注+星标，获取AI前沿进展与开源一线动态