山东
IT之家8月26日消息，阿里通义千问团队今晚正式发布了Qwen3.8-Flash，这是一款基于下一代 Qwen4架构的多模态 MoE（混合专家）模型。
阿里通义Qwen3.8-Flash发布
该模型主模型参数量为125B（约1250亿），额外配备51B的 N-gram Embedding 参数，每 token 仅激活6B 参数。Qwen3.8-Flash 被定位为 Qwen4架构的技术预览版，旨在让开发者社区提前适配新架构。
架构四大升级
Qwen3.8-Flash 围绕四个方向进行了系统升级。
在 Attention 方面，采用 GDN（Gated DeltaNet）+ QSA（Qwen Sparse Attention）混合架构。GDN 负责高效压缩历史信息，QSA 则通过轻量级 Indexer 在 micro-block 粒度上筛选重要上下文，显著降低长序列 Attention 开销。面对1M token 的超长上下文，QSA 的 Attention Kernel 在 Prefill 和 Decode 阶段分别实现最高7.6倍和4.9倍的加速。
在 Residual 方面，引入 Gated Residual（GR）机制，将残差流扩展为4条并行分支，通过动态 Gate 控制信息读写。残差状态支持 FP8存储，大幅降低访存开销。
在 Embedding 方面，引入51B 参数的 N-gram Embedding，利用局部上下文查表扩展模型容量。这些参数可卸载至 Host Memory，通过异步 Prefetch 与模型计算重叠，不长期占用 GPU 显存。
在 Optimization 方面，采用 Muon Optimizer，并针对正交化精度、参数分工及融合矩阵拆分等策略进行优化。针对新架构重新拟合了 Scaling Law。
性能与成本
相比 Qwen3.7-Plus，Qwen3.8-Flash 的训练成本仅约为前者的九分之一，但在编码和办公任务上具备更强能力。在6B 激活参数下，Qwen3.8-Flash-Next-Base 在14个 benchmark 中的8个上取得最优结果，包括 MMLU-Pro、SuperGPQA、BBH、SWEBench-Pretrain、MGSM 与 MMMU。
可用性与定价
Qwen3.8-Flash 即将上线千问 AI 平台，对外提供 API 服务，定价为每百万 Tokens 输入1元、输出3元。模型权重已于北京时间8月26日23:00在 Hugging Face 与 ModelScope 平台开源，同步发布 FP8量化版本。Qwen3.8-Flash-Next 默认支持1M 上下文并内置官方工具。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
