效率提升9倍！英伟达新模型Nemotron 3 Nano Omni瞄准智能体落地，整合语音、视觉与推理能力

在人工智能智能体（AI Agent）竞赛持续升温之际，英伟达正加速从“算力霸主”向“模型平台商”延伸。

美东时间28日周二，英伟达在公司博客宣布，推出名为Nemotron 3 Nano Omni的全新开源模型，主打“原生全模态理解+高效推理”，试图为企业级AI Agent提供一体化基础模型底座。英伟达介绍，这款业内领先的开源全模态推理模型融合了视觉、音频与语言能力，将帮助AI智能体实现高达9倍的效率提升。

英伟达介绍，已有一批AI与软件领域的公司率先采用了Nemotron 3 Nano Omni，包括Aible、Applied Scientific Intelligence (ASI)、Eka Care、富士康、H Company、Palantir 和 Pyler。此外，戴尔、DocuSign、Infosys、K-Dense、Lila、甲骨文和 Zefr 正在对该模型进行评估。

主打Omni：一个模型打通语音、视觉与语言

不同于传统多模态模型通常通过拼接多个子模型实现能力融合，Nemotron 3 Nano Omni强调“原生全模态（omni-understanding）”。其可同时处理文本、图像、音频甚至视频输入，并在统一架构内完成理解与推理任务。

英伟达在技术博客中指出，该模型具备从视频和文档中提取信息的能力，支持复杂场景下的跨模态推理，例如通过语音转录增强视频理解，或结合OCR解析视觉文本内容。

从架构上看，Nemotron 3 Nano Omni延续了Nemotron 3系列的混合架构路线：融合Transformer与Mamba机制，并引入混合专家（MoE）以在保持性能的同时大幅降低推理成本。

瞄准AI智能体 从理解走向执行

此次发布的核心关键词并非多模态，而是智能体。英伟达明确将Nemotron 3系列定位为代理式（agentic）AI的基础模型，即不仅用于生成内容，更用于驱动具备决策与执行能力的智能体系统。

官方资料显示，Nano Omni是首个“生产级开放模型”，专为构建可扩展AI Agent设计，支持长上下文、多步骤推理以及工具调用等能力。

同时，该模型还引入GUI训练数据，使AI可以理解和操作界面元素，进一步贴近真实应用场景，例如自动化办公流程、软件操作甚至复杂工作流执行。

媒体解读认为，这种“全模态+Agent”组合意味着AI系统可以直接处理现实世界中的非结构化数据（视频、语音、文档），并据此做出决策，从而拓展AI在企业中的落地边界。

效率仍是核心卖点：小模型撬动大能力

尽管能力扩展至多模态与智能体场景，Nemotron 3 Nano Omni仍延续“Nano”定位，即强调高性价比与推理效率。

Nemotron 3 Nano基础模型采用约300亿参数规模，但通过MoE机制每次仅激活参数30亿，在性能与成本之间取得平衡。同时，该系列模型支持超长上下文（最高达百万token级别），适合处理复杂文档与长流程任务。

在英伟达整体产品体系中，Nano、Super与Ultra形成梯度：Nano强调效率，Super面向高吞吐企业场景，Ultra则瞄准前沿推理能力。

开源生态对抗闭源阵营

值得注意的是，英伟达再次强调“开放”。Nemotron 3 Nano Omni不仅开放模型权重，还配套提供训练数据、工具链（如NeMo）以及优化方案，试图打造完整开发生态。

这一策略正值AI行业分化加剧之际：一方面，部分头部厂商逐步转向闭源；另一方面，中国及开源社区持续推进开放模型。英伟达试图以“开放+高性能”切入中间地带，吸引开发者与企业客户。

从更宏观角度看，随着AI应用从“聊天机器人”迈向“智能代理”，模型能力的竞争也从单一语言理解升级为多模态融合+任务执行能力的系统竞争。

Nemotron 3 Nano Omni的推出，标志着英伟达不仅要卖“铲子”（GPU），也要提供“施工方案”（模型与工具链），进一步加深其在AI产业链中的纵深布局。