阿里开源 Qwen3 系列“混合”推理模型，据称全面超越 Llama 4

备受关注的Qwen3 终于来了。

此前就陆续有消息宣称阿里将于4 月更新其 Qwen 系列模型，终于，在四月的最后两天，阿里巴巴 Qwen Team 对外发布了其 Qwen 系列大型语言模型的新成员——Qwen3。

此次发布的Qwen3 系列涵盖了从小型到超大型的多个模型，旨在满足不同应用场景下的需求。其中，最吸引人眼球的当属旗舰模型Qwen3-235B-A22B。这是一款采用 MoE（Mixture of Experts, 混合专家）架构的大模型，拥有 2350 亿总参数量，在推理时激活其中的 220 亿参数。

除了旗舰模型，Qwen Team 还同时开源了另一款 MoE 模型Qwen3-30B-A3B。该模型总参数量约为 300 亿，激活参数量为 30 亿。官方资料显示，这款模型的激活参数量仅为 Qwen 团队另一款模型 QwQ-32B 的 10%，但在性能上却表现更优。这使得 Qwen3-30B-A3B 在需要高效推理和本地部署的场景下非常具有优势，例如本地编程。

此外，Qwen3 系列还包含六款传统的 Dense（密集）架构模型，参数规模从 0.6B 到 32B 不等，具体包括：Qwen3-0.6B、Qwen3-1.7B、Qwen3-4B、Qwen3-8B、Qwen3-14B 和 Qwen3-32B。这些 Dense 模型采用了更传统的架构，所有参数在推理时都会参与计算。Qwen Team 对这些模型的权重也进行了全面开源。

基准测试结果显示，Qwen3 系列的表现相当亮眼。

尽管参数量相对较小，但旗舰模型Qwen3-235B-A22B 在代码生成与理解、数学推理、通用能力等关键领域，与 DeepSeek-R1、o1、o3-mini、Grok-3 以及 Google 的 Gemini-2.5-Pro 等顶级模型不相上下甚至有所超越。最重要的是，在各项评估中，它都用不到一半的参数量实现了对直接竞争对手 LLaMA-4-Maverick 的全面超越。

小型MoE 模型Qwen3-30B-A3B的表现同样出色。尽管其激活参数量仅为 30 亿，但在 ArenaHard、LiveCodeBench 等多项测试中，其性能不仅超越了参数量更大的 Qwen2.5-72B-Instruct 模型，还在某些项目上接近或超过了 GPT-4o。甚至参数量相当小的Qwen3-4B，也能在部分基准测试中匹敌或超越参数量远大于它的 Qwen2.5-72B-Instruct。

此外，和Gemini 2.5 Flash 一样，Qwen 3 系列最大的亮点是引入了思考/非思考这两种可切换的思考模式，这种设计允许用户根据任务需求，在推理深度（可能带来更高质量的答案）和响应速度（效率更高）之间进行权衡。官方称之为“思考预算”（Thinking Budget）控制。

Qwen 团队的数据显示，模型的性能提升与分配的计算推理预算（以 K tokens 为单位衡量）直接相关，并且展现出可扩展且平滑的性能曲线。这意味着用户可以通过调整预算，在成本效益和推理质量之间找到最佳平衡点。

在实际使用中，用户可以通过API 调用时的参数（如 enable_thinking=True/False）来控制默认模式。而且，Qwen3 还支持在多轮对话中通过在用户输入中添加特定指令（如 /think 或 /no_think）来动态切换当前轮次的思考模式，模型会遵循最近的指令。

Qwen3 的另一个亮点是，在多语言方面做出了重大改善，官方宣布其支持多达119 种语言和方言。这覆盖了全球主要的语系，包括：

除了基础的语言理解和生成能力，现代大型语言模型在执行复杂任务、与外部工具交互（即Agent 能力）以及编写和理解代码方面的能力也日益受到重视。Qwen3 在这些方面也进行了重点优化。

官方表示，Qwen3 模型的 Agent 能力和代码能力得到了显著提升，并且加强了对 MCP（Model Context Protocol）的支持，使得 Qwen 3 能更有效地参与到多智能体协作的场景中。

另外值得一提的是，据 Qwen 团队研究员郑楚杰透露，Qwen3 还有一些未在模型卡中透露出的有趣特性，或许能为研究和产品开辟出一些新的空间，值得我们期待一下。

在训练方面，Qwen 3 使用了约 36 万亿个 token 进行预训练，几乎是 Qwen2.5（18 万亿 token）的两倍。团队不仅从网络收集数据，还从 PDF 文档中提取信息，并利用 Qwen2.5-VL（Vision Language，视觉语言）和 Qwen2.5 改善提取内容质量。为增加数学和代码数据，团队还利用 Qwen2.5-Math 和 Qwen2.5-Coder 这两个领域专家模型合成数据。

预训练过程分为三个阶段：首先在超过30 万亿个 token 上进行基础预训练；其次增加知识密集型数据比例并额外训练 5 万亿个 token；最后使用高质量长上下文数据将上下文长度扩展到 32K token。

模型架构的改进也是Qwen3 性能提升的关键因素之一。官方提到，由于模型架构的改进、训练数据的增加以及更有效的训练方法，Qwen3 的 Dense 基础模型在整体性能上已经能与参数量更多的 Qwen2.5 基础模型相媲美。例如，Qwen3 的 1.7B 到 32B 的 Dense 模型分别能达到 Qwen2.5 的 3B 到 72B Base 模型的水平。对于 MoE 模型，在仅使用约 10% 激活参数的情况下，就能达到与 Qwen2.5 Dense 基础模型相似的性能，显著节省了训练和推理成本。

后训练部分，对于Qwen3-235B-A22B 等旗舰模型，训练从基础模型出发，经历了与 DeepSeek- R1 比较类似的四个步骤：

1.长思维链冷启动 (Long-CoT Cold Start):使用多样化的长思维链数据对模型进行微调，覆盖数学、代码、逻辑推理和 STEM（科学、技术、工程、数学）等领域，旨在为模型注入基础的推理能力。

2.长思维链强化学习 (Long-CoT Reasoning RL):进行大规模强化学习（Reinforcement Learning, RL），利用基于规则的奖励来增强模型的探索和钻研能力。

3.思维模式融合 (Thinking Mode Fusion):将包含长思维链数据和常用指令微调数据的混合数据集用于模型微调，目的是将非思考模式无缝整合到思考模式中，确保推理能力和快速响应能力的结合。

4.通用强化学习 (General RL):在包括指令遵循、格式遵循和 Agent 能力等在内的 20 多个通用任务领域应用强化学习，进一步增强模型的通用能力并纠正不良行为。

对于更小的轻量级模型，则是由强模型进行蒸馏。流程图显示，这种蒸馏过程利用了经过复杂四阶段训练的前沿模型作为“教师模型”，将其能力迁移到参数量较小的“学生模型”上（这也解释了轻量级模型能在相对较小规模下继承强大性能的原因）。

目前，模型权重已上架Hugging Face、ModelScope、Kaggle 等平台。对于生产环境部署，推荐使用 SGLang、vLLM 等框架。同时，Ollama、LMStudio、llama.cpp 等本地工具也提供了支持。官方还提供了详细的 Python 代码示例。

参考资料：

1. https://qwenlm.github.io/zh/blog/qwen3/

排版：溪树