英伟达突然开源新模型！性能直逼 DeepSeek-R1，4 倍推理吞吐量卷翻天

今天，英伟达开源了一款名为 Llama-3.1-Nemotron-Ultra-253B-v1 的新模型。

该模型基于 Meta 早期的 Llama-3.1-405B-Instruct 模型开发，拥有 2530 亿个参数，在多项第三方基准测试中表现出色。

英伟达新模型的性能逼近拥有 6710 亿参数的 DeepSeek R1，但只用了不到一半的参数量。

测试结果显示，GPQA（76 vs. 71.5）、IFEval 指令遵循（89.5 vs. 88.8）和 LiveCodeBench 编码任务（66.3 vs. 65.9）。

并且，Llama-3.1-Nemotron-Ultra-253B 推理吞吐量也比 DeepSeek R1 671B 高 4 倍。

不过，在 MATH500 和 Arena Hard 基准测试中，DeepSeek R1 仍略占优势。

据悉，Llama-3.1-Nemotron-Ultra-253B 的设计目标是支持高级推理、指令遵循以及 AI 助手工作流程。

技术特点如下：
1️⃣ 采用神经架构搜索(NAS)优化架构
2️⃣ 引入跳跃注意力层、融合前馈网络(FFN)和可变 FFN 压缩率
3️⃣ 降低内存占用和计算需求，保持输出质量
4️⃣ 可在单个 8x H100 GPU 节点高效部署
5️⃣ 部署支持 B100 和 Hopper 微架构硬件
6️⃣ 在 BF16 和 FP8 精度模式下均验证通过

目前，该模型的代码已在 Hugging Face 平台上公开，包含开放的权重和训练后数据。

Llama-3.1-Nemotron-Ultra-253B 可用于聊天机器人开发、AI Agent 工作流、检索增强生成（RAG）和代码生成等场景。根据英伟达开放模型许可证及 Llama 3.1 社区许可协议，该模型已获准用于商业用途。

附上体验地址：
https://build.nvidia.com/nvidia/llama-3_1-nemotron-ultra-253b-v1?ncid=so-twit-273200