网易首页 > 网易号 > 正文 申请入驻

英伟达新架构引爆全模态大模型革命,9B模型开源下载即破万

0
分享至

新智元报道

编辑:LRST

【新智元导读】OmniVinci是英伟达推出的全模态大模型,能精准解析视频和音频,尤其擅长视觉和听觉信号的时序对齐。它以90亿参数规模,性能超越同级别甚至更高级别模型,训练数据效率是对手的6倍,大幅降低成本。在视频内容理解、语音转录、机器人导航等场景中,OmniVinci能提供高效支持,展现出卓越的多模态应用能力。

今年以来,开源大模型战场硝烟弥漫。

各路人马在此全力投入,试图在AI的下一个时代抢占生态位。而一个无法被忽略的趋势是:中国大模型,正在强势统治开源基础模型的「名人堂」。

从DeepSeek在代码与数学推理上的惊人表现,到Qwen(通义千问)家族在多模态和通用能力上的全面开花,它们凭借卓越的性能和快速的迭代,早已成为全球AI从业者无法绕过的参照物。

就在所有人都以为,这场基础模型开源浪潮将主要由顶尖的互联网巨头和明星创业公司推动时,一个「本该」在旁边「卖水」的巨头,也亲自下场「添柴」了。

是的,作为AI浪潮最大的受益者——英伟达(NVIDIA)——并没有懈怠自研大模型。

如今,英伟达的大模型矩阵迎来了一块重要拼图。

无需更多铺垫,老黄的最新王牌正式登场:最强9B视频音频全模态大模型 OmniVinci,强势开源!

论文链接:https://arxiv.org/abs/2510.15870

代码链接:https://github.com/NVlabs/OmniVinci

在多个主流全模态,音频理解,和视频理解榜单上,OmniVinci展示出了碾压对手的性能:

如果说英伟达之前的开源模型还只是在特定领域细分布局,那么OmniVinci的发布,则是一次真正意义上的「全线压上」。

英伟达对OmniVinci的定义是「全模态(Omni-Modal)」——一个能够同时理解视频、音频、图像和文本的统一模型。

它的大小仅为90亿(9B)参数,却在多项关键的多模态基准测试中,展现了「掀桌子」级别的性能。

根据英伟达发布的论文,OmniVinci的核心优势极其凌厉:

  • 性能越级对标:在多个权威的全模态理解基准上(如DailyOmni、MMAR等),OmniVinci的表现全面超越了包括Qwen2.5-Omni在内的同级别(甚至更高级别)的竞争对手。

  • 惊人的数据效率:这是最可怕的一点。OmniVinci达到当前SOTA(顶尖水平)性能,仅使用了0.2T(2000亿)tokens的训练数据。作为对比,其主要竞争对手的数据集规模普遍在1.2T以上。这意味着OmniVinci的训练效率是对手的6倍!

  • 核心技术革新:它通过名为全对齐网络(OmniAlignNet)的创新架构,以及时序嵌入分组(Temporal Embedding Grouping)和约束旋转时间编码(Constratined Rotary Time Embed)等技术,实现了视觉和听觉信号在时序上的高精度对齐。简单来说,它不仅「看懂」了视频,「听懂」了声音,更能精准理解「什么声音在什么画面发生」。

英伟达的入局,传递了一个清晰的信号:硬件的王者,同样要掌握模型的定义权。

视频+音频理解: 1+1>2

音频的加入究竟有没有让多模态模型更强?实验给出了明确的回答:有,而且提升非常显著。

研究团队指出,声音为视觉任务引入了全新的信息维度,使模型在视频理解方面受益匪浅。

具体来说,从单纯依赖视觉,到结合音频进行隐式多模态学习,再到引入全模态数据引擎实现显式融合,模型的表现呈阶梯式跃升。

尤其是在采用显式学习策略后,多项指标上都出现了突破性进步,如下表所示,性能几乎是「一路狂飙」。

不单只SFT,在后训练阶段加入音频模态也能进一步增强GRPO的效果:

全模态Agent,落地场景拉满

视频与音频兼具的全模态模型突破了传统 VLM 的模态限制,能够更充分地理解视频内容,因此具备更广阔的应用场景。

比如总结老黄的采访:

还可以能转录成文字:

又或者语音指挥机器人导航:

是开源届的友军,而不是对手

在过去的一年里,

DeepSeek凭借其在代码和数学推理上的超强实力,一次次刷新开源榜单的上限,成为「最强理科生」的代名词。

Qwen则构建了庞大的模型矩阵,从最小的0.6B到巨无霸1T大模型,是目前生态最完善、综合能力最均衡的「全能选手」之一。

而OmniVinci的开源,更像是一条的「鲶鱼」。它用极致的效率和强悍的性能树立了SOTA的研究标杆,搅动了开源大模型战场,督促友军们拿出更好的模型帮助人类走向AGI。

对于「卖铲子」的英伟达来说,开源模型越多人用 -> 更多人买GPU,无疑是开源模型的最大收益者,也正因如此,英伟达是开源模型团队的坚定友军,而不是对手。

结语

社区狂欢,浪潮加速,共赴AGI

英伟达OmniVinci一经发布,如同一块巨石砸入本已波涛汹涌的开源之海,已经在huggingface上斩获一万多的下载量。

海外的科技博主们抢先发布视频和文章分享相关技术

它既是英伟达「软硬一体」生态的自然延伸,也是对整个AI开源生态的一次强力「助推」。

开源的格局,因此更加清晰了。

一方,是以DeepSeek、Qwen为代表的中国开源力量,他们以极快的迭代速度和开放性,构筑了繁荣的开发者基础。

另一方,是手握算力霸权的英伟达,亲自下场,用「技术标杆」和「生态孵化」来作为开源友军加速整个进程。

浪潮已在加速,无人能置身事外。对于每一位AI从业者来说,一个更强、更快、更「卷」的AI时代,才刚刚开始。

参考资料:

https://arxiv.org/abs/2510.15870

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
终于明白,中国为啥不趁着俄乌打仗,欧美腾不出手时收复台湾了!

终于明白,中国为啥不趁着俄乌打仗,欧美腾不出手时收复台湾了!

叶葉夜
2026-11-19 10:05:32
贾国龙不服输,又要做火锅生意:新店主打“冰煮鲜羊”,人均102元,西贝与天边砂锅焖面门店规模已大幅缩水

贾国龙不服输,又要做火锅生意:新店主打“冰煮鲜羊”,人均102元,西贝与天边砂锅焖面门店规模已大幅缩水

蓝鲸新闻
2026-11-19 16:25:03
北京男子在养老院干16年,劝人:攥100万不如守3样

北京男子在养老院干16年,劝人:攥100万不如守3样

记录生活日常阿蜴
2026-11-19 00:05:47
TVB资深绿叶解释深夜落泪照,让不少好友担心,丈夫投资新球馆

TVB资深绿叶解释深夜落泪照,让不少好友担心,丈夫投资新球馆

粤睇先生
2026-11-20 00:10:48
一篇内参让领导人反思,中央由此取消副总理级专机,她究竟写了什么

一篇内参让领导人反思,中央由此取消副总理级专机,她究竟写了什么

瑾瑜聊情感
2025-08-23 09:43:36
国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

江启
2026-11-19 09:51:17
英伟达临时CEO呼吁“向前看” Arm掌门人据悉获猎头接洽

英伟达临时CEO呼吁“向前看” Arm掌门人据悉获猎头接洽

财联社
2026-11-19 07:20:35
女孩每天去超市货架偷面包,老板装没看见,10年后老板收到快递哭了

女孩每天去超市货架偷面包,老板装没看见,10年后老板收到快递哭了

悬案解密档案
2025-11-03 10:58:58
美论坛:孟买已领先上海30年,可为何中国人仍觉得印度落后?

美论坛:孟买已领先上海30年,可为何中国人仍觉得印度落后?

有牙的兔纸
2026-11-19 08:34:35
阿里巴巴最新业绩出炉!股价巨震

阿里巴巴最新业绩出炉!股价巨震

证券时报
2026-11-19 21:29:11
腰臀比例太出众!莱昂诺尔公主最新街拍,镜头表现力完胜妹妹

腰臀比例太出众!莱昂诺尔公主最新街拍,镜头表现力完胜妹妹

夜深爱杂谈
2026-11-19 19:51:23
曝蓉城今夏曾接触郑智!李金羽也进候选 名记:新帅或聘四川名宿

曝蓉城今夏曾接触郑智!李金羽也进候选 名记:新帅或聘四川名宿

我爱英超
2026-11-19 13:09:34
俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

人生录
2026-10-15 06:06:09
深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

券商中国
2026-11-19 02:14:46
1600元烤全羊只剩骨架!剥不出一两肉,四川涉事民宿辩解火太大

1600元烤全羊只剩骨架!剥不出一两肉,四川涉事民宿辩解火太大

离离言几许
2026-11-20 00:19:20
红果短剧再踩雷,一切都结束了!

红果短剧再踩雷,一切都结束了!

广告创意
2026-11-18 18:38:58
彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

魔都姐姐杂谈
2026-11-18 13:09:03
聪明能干,自带锦鲤体质的三大星座:好运从来都是性格的回响

聪明能干,自带锦鲤体质的三大星座:好运从来都是性格的回响

别人都叫我阿螫
2026-11-20 01:13:04
日本最后的心理防线被击穿了,它的恐惧已经到了顶点

日本最后的心理防线被击穿了,它的恐惧已经到了顶点

一个坏土豆
2026-09-27 19:12:26
丈夫趁妻子熟睡,偷偷牵出家里的羊和鹅,妻子发现后气得回了娘家

丈夫趁妻子熟睡,偷偷牵出家里的羊和鹅,妻子发现后气得回了娘家

智慧生活笔记
2026-11-20 02:34:37
2026-11-20 03:51:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16722文章数 67240关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

亲子
艺术
手机
健康
军事航空

亲子要闻

一图读懂丨应对常见疾病之感冒

艺术要闻

尼古拉·费欣:用色彩谱写交响曲的天才画家

手机要闻

都2026年了 《GTA6》主角还没用上全面屏手机

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版