广东
今天，英伟达开源了一款名为 Llama-3.1-Nemotron-Ultra-253B-v1 的新模型。
该模型基于 Meta 早期的 Llama-3.1-405B-Instruct 模型开发，拥有 2530 亿个参数，在多项第三方基准测试中表现出色。
英伟达新模型的性能逼近拥有 6710 亿参数的 DeepSeek R1，但只用了不到一半的参数量。
测试结果显示，GPQA（76 vs. 71.5）、IFEval 指令遵循（89.5 vs. 88.8）和 LiveCodeBench 编码任务（66.3 vs. 65.9）。
并且，Llama-3.1-Nemotron-Ultra-253B 推理吞吐量也比 DeepSeek R1 671B 高 4 倍。
不过，在 MATH500 和 Arena Hard 基准测试中，DeepSeek R1 仍略占优势。
据悉，Llama-3.1-Nemotron-Ultra-253B 的设计目标是支持高级推理、指令遵循以及 AI 助手工作流程。
技术特点如下：
1️⃣ 采用神经架构搜索(NAS)优化架构
2️⃣ 引入跳跃注意力层、融合前馈网络(FFN)和可变 FFN 压缩率
3️⃣ 降低内存占用和计算需求，保持输出质量
4️⃣ 可在单个 8x H100 GPU 节点高效部署
5️⃣ 部署支持 B100 和 Hopper 微架构硬件
6️⃣ 在 BF16 和 FP8 精度模式下均验证通过
目前，该模型的代码已在 Hugging Face 平台上公开，包含开放的权重和训练后数据。
Llama-3.1-Nemotron-Ultra-253B 可用于聊天机器人开发、AI Agent 工作流、检索增强生成（RAG）和代码生成等场景。根据英伟达开放模型许可证及 Llama 3.1 社区许可协议，该模型已获准用于商业用途。
附上体验地址：
https://build.nvidia.com/nvidia/llama-3_1-nemotron-ultra-253b-v1?ncid=so-twit-273200
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
