网易首页 > 网易号 > 正文 申请入驻

效率提升9倍!英伟达新模型Nemotron 3 Nano Omni瞄准智能体落地,整合语音、视觉与推理能力

0
分享至

在人工智能智能体(AI Agent)竞赛持续升温之际,英伟达正加速从“算力霸主”向“模型平台商”延伸。

美东时间28日周二,英伟达在公司博客宣布,推出名为Nemotron 3 Nano Omni的全新开源模型,主打“原生全模态理解+高效推理”,试图为企业级AI Agent提供一体化基础模型底座。英伟达介绍,这款业内领先的开源全模态推理模型融合了视觉、音频与语言能力,将帮助AI智能体实现高达9倍的效率提升。

英伟达介绍,已有一批AI与软件领域的公司率先采用了Nemotron 3 Nano Omni,包括Aible、Applied Scientific Intelligence (ASI)、Eka Care、富士康、H Company、Palantir 和 Pyler。此外,戴尔、DocuSign、Infosys、K-Dense、Lila、甲骨文和 Zefr 正在对该模型进行评估。

主打Omni:一个模型打通语音、视觉与语言

不同于传统多模态模型通常通过拼接多个子模型实现能力融合,Nemotron 3 Nano Omni强调“原生全模态(omni-understanding)”。其可同时处理文本、图像、音频甚至视频输入,并在统一架构内完成理解与推理任务。

英伟达在技术博客中指出,该模型具备从视频和文档中提取信息的能力,支持复杂场景下的跨模态推理,例如通过语音转录增强视频理解,或结合OCR解析视觉文本内容。

从架构上看,Nemotron 3 Nano Omni延续了Nemotron 3系列的混合架构路线:融合Transformer与Mamba机制,并引入混合专家(MoE)以在保持性能的同时大幅降低推理成本。

瞄准AI智能体 从理解走向执行

此次发布的核心关键词并非多模态,而是智能体。英伟达明确将Nemotron 3系列定位为代理式(agentic)AI的基础模型,即不仅用于生成内容,更用于驱动具备决策与执行能力的智能体系统。

官方资料显示,Nano Omni是首个“生产级开放模型”,专为构建可扩展AI Agent设计,支持长上下文、多步骤推理以及工具调用等能力。

同时,该模型还引入GUI训练数据,使AI可以理解和操作界面元素,进一步贴近真实应用场景,例如自动化办公流程、软件操作甚至复杂工作流执行。

媒体解读认为,这种“全模态+Agent”组合意味着AI系统可以直接处理现实世界中的非结构化数据(视频、语音、文档),并据此做出决策,从而拓展AI在企业中的落地边界。

效率仍是核心卖点:小模型撬动大能力

尽管能力扩展至多模态与智能体场景,Nemotron 3 Nano Omni仍延续“Nano”定位,即强调高性价比与推理效率。

Nemotron 3 Nano基础模型采用约300亿参数规模,但通过MoE机制每次仅激活参数30亿,在性能与成本之间取得平衡。同时,该系列模型支持超长上下文(最高达百万token级别),适合处理复杂文档与长流程任务。

在英伟达整体产品体系中,Nano、Super与Ultra形成梯度:Nano强调效率,Super面向高吞吐企业场景,Ultra则瞄准前沿推理能力。

开源生态对抗闭源阵营

值得注意的是,英伟达再次强调“开放”。Nemotron 3 Nano Omni不仅开放模型权重,还配套提供训练数据、工具链(如NeMo)以及优化方案,试图打造完整开发生态。

这一策略正值AI行业分化加剧之际:一方面,部分头部厂商逐步转向闭源;另一方面,中国及开源社区持续推进开放模型。英伟达试图以“开放+高性能”切入中间地带,吸引开发者与企业客户。

从更宏观角度看,随着AI应用从“聊天机器人”迈向“智能代理”,模型能力的竞争也从单一语言理解升级为多模态融合+任务执行能力的系统竞争。

Nemotron 3 Nano Omni的推出,标志着英伟达不仅要卖“铲子”(GPU),也要提供“施工方案”(模型与工具链),进一步加深其在AI产业链中的纵深布局。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国最大的优势,要丢?

中国最大的优势,要丢?

美第奇效应
2026-08-13 07:06:36
滴滴组团出海,中国新能源车加速进入巴西人的生活

滴滴组团出海,中国新能源车加速进入巴西人的生活

豹变
2026-08-11 08:47:02
中央生态环境保护督察已实现三轮全覆盖

中央生态环境保护督察已实现三轮全覆盖

界面新闻
2026-08-13 10:52:02
三架飞机、一辆餐车、一个障眼法, 特朗普完成一场“瞒天过海”

三架飞机、一辆餐车、一个障眼法, 特朗普完成一场“瞒天过海”

极目新闻
2026-08-13 07:21:51
郭德纲魔改红歌被立案,一句“紫禁城中静悄悄”惹的祸?

郭德纲魔改红歌被立案,一句“紫禁城中静悄悄”惹的祸?

雪谨说个球
2026-08-13 08:00:21
朝鲜缺电远比越南严重,中国却始终不向其送电,说白了,一旦输电线搭过去,恐怕会送出个无底洞般的烂账

朝鲜缺电远比越南严重,中国却始终不向其送电,说白了,一旦输电线搭过去,恐怕会送出个无底洞般的烂账

人生录
2026-08-13 00:05:10
深圳一隧道内突发!47人被困!官方到场紧急转移

深圳一隧道内突发!47人被困!官方到场紧急转移

南方都市报
2026-08-13 08:37:07
乌克兰袭击新西罗斯克,一次击中俄军4艘舰艇,是最成功的袭击之一

乌克兰袭击新西罗斯克,一次击中俄军4艘舰艇,是最成功的袭击之一

山河路口
2026-08-13 09:06:45
曝汪小菲和朋友女儿裸聊、对方还是未成年,婚内出轨睡大哥的女人

曝汪小菲和朋友女儿裸聊、对方还是未成年,婚内出轨睡大哥的女人

180视角
2026-08-13 10:30:24
2026云程奖启动!我们要给「在校AI本硕博」发奖学金

2026云程奖启动!我们要给「在校AI本硕博」发奖学金

机器之心Pro
2026-08-12 14:53:58
125亿!125亿啊!湖人重磅交易!东契奇第三次易主

125亿!125亿啊!湖人重磅交易!东契奇第三次易主

篮球实战宝典
2026-08-13 06:13:19
11篇顶会论文之外,美图影像研究院做了一件事:让大众爱用AI

11篇顶会论文之外,美图影像研究院做了一件事:让大众爱用AI

机器之心Pro
2026-08-12 18:34:36
43岁王凯告别式今日举行:遗照伴白紫花海,众星云集送最后一程

43岁王凯告别式今日举行:遗照伴白紫花海,众星云集送最后一程

情感大头说说
2026-08-13 02:53:22
省级领导干部任免中,“中央批准”和“中央决定”有什么区别?

省级领导干部任免中,“中央批准”和“中央决定”有什么区别?

爱看剧的阿峰
2026-08-13 09:38:42
伊朗“手搓”AI视频“餐车大逃亡”讽刺特朗普:为防我们刺杀,躲在餐饮车秘密换机

伊朗“手搓”AI视频“餐车大逃亡”讽刺特朗普:为防我们刺杀,躲在餐饮车秘密换机

极目新闻
2026-08-13 10:38:27
胖东来房东贪得无厌?网传许昌2.3万平米年租金2400万,折算每平每天仅2.8元

胖东来房东贪得无厌?网传许昌2.3万平米年租金2400万,折算每平每天仅2.8元

火山詩话
2026-08-13 07:41:15
如临大敌!网传坊间相互提醒重庆王先生一伙人到西藏旅游,评论区炸锅

如临大敌!网传坊间相互提醒重庆王先生一伙人到西藏旅游,评论区炸锅

火山詩话
2026-08-12 07:31:02
千里探亲反被亲戚丢弃,俩娃几天没吃饭饿到发昏,结局太暖心

千里探亲反被亲戚丢弃,俩娃几天没吃饭饿到发昏,结局太暖心

大鱼简科
2026-08-12 09:36:51
皇马丑陋1-0!头号钉子户疑似摆烂 穆帅4胜1平仍遭批:只会摆大巴

皇马丑陋1-0!头号钉子户疑似摆烂 穆帅4胜1平仍遭批:只会摆大巴

风过乡
2026-08-13 06:37:06
吃相难看!郭兰英去世,婚姻私生活被扒、遗愿曝光,难堪一幕发生

吃相难看!郭兰英去世,婚姻私生活被扒、遗愿曝光,难堪一幕发生

往史过眼云烟
2026-08-12 19:59:07
2026-08-13 12:59:00
华尔街见闻官方 incentive-icons
华尔街见闻官方
中国领先的金融商业信息提供商
150607文章数 2654451关注度
往期回顾 全部

科技要闻

DeepSeek V4 Pro更新:性价比炸裂 仍需打磨

头条要闻

男子遭"炸街"折磨刺死19岁小伙获死刑 被害人父亲发声

头条要闻

男子遭"炸街"折磨刺死19岁小伙获死刑 被害人父亲发声

体育要闻

负债十几亿的联赛,还在疯狂买球星

娱乐要闻

郭德纲魔改红歌被立案!

财经要闻

韩国可能迎来失去的三十年

汽车要闻

试了奇瑞捷豹路虎神行者8,才知道它的i-ATS有多强?

态度原创

数码
游戏
家居
艺术
教育

数码要闻

万魔S52耳夹耳机开售:综合续航45小时,到手价628.2元

KSG4比3AG.AL,拿下2026王者荣耀电竞世俱杯冠军,AG.AL棋差一招相当可惜!

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

红色系 | 中国当代油画优秀作品 24幅

教育要闻

九牛问津靠谱吗?数据展现硬核实力

无障碍浏览 进入关怀版