北京
分享至
9月12日，阿里通义发布下一代基础模型架构Qwen3-Next。Qwen3-Next针对大模型在上下文长度和总参数两方面不断扩展（Scaling）的未来趋势而设计，采用全新的高稀疏MoE架构，并对经典Transformer核心组件进行了重构，创新线性注意力和自研的门控注意力结合的混合注意力机制，实现了模型训练和推理的双重性价比突破。
基于这一新架构，阿里通义“打样”了Qwen3-Next-80B-A3B系列模型，开源指令（Instruct）和推理（Thinking）两大模型版本。新模型总参数 80B 仅激活 3B，性能可媲美千问3旗舰版235B模型，模型计算效率大幅提升。Qwen3-Next训练成本较密集模型Qwen3-32B大降超90%，长文本推理吞吐量提升10倍以上，并可支持百万Tokens超长上下文。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
