深入解析 NVIDIA Nemotron 3：使其高效精准的技术、工具与数据

这一全新开放模型系列引入了开放的混合 Mamba-Transformer MoE (mixture-of-experts) 架构，使多智能体系统能够进行快速长上下文推理。

NVIDIA Nemotron 3 系列开放模型 (Nano、Super、Ultra)、数据集和技术专为在新时代构建专业代理式 AI 而设计。该系列引入了混合 Mamba-Transformer MoE 架构、交互式环境强化学习 (reinforcement learning, RL)，以及原生 100 万 token 上下文窗口，可为多智能体应用提供高吞吐量、长时推理能力。

• Nemotron 3 的核心技术：Nemotron 3 将三种架构整合成一个主干：

1. Mamba 层：实现高效序列建模
2. Transformer 层：保障推理精度
3. MoE 路由：实现可扩展计算效率

Mamba 层擅长以极低显存开销追踪长程依赖，即使处理数十万 token 仍能保持稳定的性能。Transformer 层通过精细注意力机制对此进行了补充，捕捉例如代码操作、数学推理或复杂规划等任务所需的结构与逻辑关联。

MoE 组件在不增加密集计算开销的前提下提升了有效参数数量。每个 token 仅激活一部分专家，从而降低了延迟并提高了吞吐量。

图 1：Nemotron 3 混合架构。通过交错部署 Mamba-2 与 MoE 层，辅以少量自注意力层，在保持领先精度的同时实现推理吞吐量最大化。

为使 Nemotron 3 契合真实代理式行为，该模型在 NeMo Gym（一个用于构建和扩展 RL 环境的开源库）中通过跨多种环境的强化学习进行后训练。这种基于轨迹的强化学习带来了在多步骤工作流中表现稳定的模型，减少推理漂移，并能处理代理式管道中常见的结构化操作。

图 2：Nemotron 3 Nano 通过混合 MoE 架构实现极高的吞吐效率，并借助 NeMo Gym 的先进强化学习技术达到领先精度

Nemotron 3 的 100 万 token 上下文使其能够在大型代码库、长文档、扩展对话及聚合检索内容中进行持续推理。智能体无需依赖碎片化的分块启发式方法，就可以在单个上下文窗口中完整保留证据集、历史缓冲及多阶段计划。

• Nemotron 3 Super 与 Ultra 的核心技术：Nemotron 3 Super 与 Ultra 引入了潜在 MoE，其中专家先在共享潜在表示中运行，然后再将输出结果投影回 token 空间。该方法使模型能够在相同推理成本下调用多达 4 倍的专家，从而更好地围绕微妙语义结构、领域抽象或多跳推理模式实现专业化。

图 3：标准 MoE 与潜在 MoE 架构对比。在潜在 MoE 中，token 被投影至更小的潜在维度进行专家路由与计算，在降低通信成本的同时支持更多专家参与，并提高每字节精度。

多 token 预测 (MTP) 使模型能够在一次前向传播中预测多个未来 token，从而显著提高长推理序列和结构化输出的吞吐量。

图 4：多 token 预测（源自论文《通过多 token 预测实现更优更快的大语言模型》）可同时预测多个未来 token，在训练阶段将精度提高约 2.4%，在推理阶段实现了推测性解码加速。

Super 与 Ultra 模型采用 NVFP4 精度进行预训练，NVIDIA 的 4 位浮点格式可为训练与推理提供业界领先的成本精度比。我们为 Nemotron 3 设计了更新版 NVFP4 方案，确保在 25 万亿 token 预训练数据集上能够实现精准且稳定的预训练。预训练过程中的大部分浮点乘加运算均采用 NVFP4 格式。

以上为摘要内容，点击链接阅读完整内容：深入解析 NVIDIA Nemotron 3：使其高效精准的技术、工具与数据 - NVIDIA 技术博客