网易首页 > 网易号 > 正文 申请入驻

第一次,多模态大模型学会边看边听,Meta新作性能暴涨113%

0
分享至

新智元报道

编辑:LRST

【新智元导读】Meta联合多所高校发布首个可规模化自动生成第一视角音视频理解数据的引擎EgoAVU ,让多模态大模型首次真正「听懂世界」。

现在最强的多模态大模型,虽然能接收声音和视频输入,但无法做到真正的「同时理解」。

在第一视角视频任务中,模型经常会出现各种问题,比如完全忽略音频信息、错误判断声源位置、用视觉线索「猜声音」,也就是说,现在的多模态大模型只会看,但不会听。

而这正是当前具身智能的一大瓶颈。

Meta研究团队发现:最大瓶颈在数据,而非模型。

论文链接:https://arxiv.org/abs/2602.06139

代码:https://github.com/facebookresearch/EgoAVU

数据:https://huggingface.co/datasets/facebook/EgoAVU_data

当前主流数据集存在三个致命问题:视觉中心化严重、缺乏真实音频语义、没有跨模态关联标注,结果就是导致模型从来没有真正学过如何理解声音与视觉之间的关系。

为解决这一难题,Meta提出了首个自动化音视频数据引擎EgoAVU,是一个全新思路,直接自动生成跨模态数据,论文已被CVPR2026接收

EgoAVU是一个完整的数据生产系统,可以自动理解视频中的声音-视觉关系、自动生成高质量问答与叙述数据、自动筛选最具跨模态信息的视频,最终形成可规模扩展的数据流水线。

一次性生成百万级训练数据

基于EgoAVU,团队构建了两个重要资源:

EgoAVU-Instruct

300万条训练样本,覆盖5大任务:

声源关联(Source–Sound Association, SSA)

问:视频里听到的某个声音(比如滋滋声)来自哪里/什么物体?

音视频片段叙述(Audio–Visual Segment Narration, AVSN)

问:在某个时间段(如 240–250 秒),描述周围环境、人物动作,以及能听到的声音。

音视频密集叙述(Audio–Visual Dense Narration, AVDN)

问:对整个视频进行更全面、更细节的「看到了什么/听到了什么/做了什么」的密集描述。

时序推理(Temporal Reasoning, TR)

问:某个动作之前/之后发生了什么,通常是多选或从候选项中选择。

音视频幻觉检测(Audio–Visual Hallucination, AVH)

问:视频里是否真的存在某个声音/事件(例如「微波炉有没有哔哔声」),用于检测模型是否「编造」。

EgoAVU-Bench

首个专门评测音视频理解能力的基准,包含3000条人工验证问题。

性能提升有多夸张?

实验结果显示,在新数据上微调后,Benchmark性能最高提升113%、其他任务最高提升28%

研究进一步揭示:当前多模态模型普遍存在严重视觉偏置。

EgoAVU带来的最大启示是:未来AI竞争的关键,可能不是「模型结构」,而是「数据引擎能力」。

这标志着多模态AI正在从「模型驱动」迈向新的技术范式「数据驱动」。

第一视角音视频理解是机器人感知、自动驾驶、AR/VR、可穿戴AI的核心基础能力。

EgoAVU为这些领域提供了关键突破,让多模态大模型第一次真正学会「听懂第一视角世界」。

论文一作Meta的实习研究员来自马里兰大学的博士生Ashish Seth,指导老师蔡志鹏是Meta的高级研究员,主要研究方向是优化、感知和多模态生成等通用计算机视觉/机器学习问题,论文曾评为ECCV18年12篇最佳论文之一,获得英特尔实验室2024年最佳学者奖。

参考资料:

https://arxiv.org/abs/2602.06139

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台军曾告知台湾民众:开战后,见到穿军服的,一定要尽快远离

台军曾告知台湾民众:开战后,见到穿军服的,一定要尽快远离

不甜的李子
2026-11-18 06:28:57
不出意外,明年开始,油价、电车充电费将面临行业新一轮洗牌

不出意外,明年开始,油价、电车充电费将面临行业新一轮洗牌

阿芒娱乐说
2026-11-18 15:55:54
6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

6平方档口,却集齐了21个“APEC朋友”的签名!APEC期间,老外纷纷来深圳华强北扫货

每日经济新闻
2026-11-18 20:00:37
至少打满19个赛季有多难?现役6人做到,当时他们各自表现如何?老詹独一档

至少打满19个赛季有多难?现役6人做到,当时他们各自表现如何?老詹独一档

答案聊体育1
2026-11-18 20:53:19
乔振宇:我最正确的决定,就是39岁遇到王倩一,没让她一个人扛

乔振宇:我最正确的决定,就是39岁遇到王倩一,没让她一个人扛

飘飘然的娱乐汇
2026-11-18 20:40:04
别只盯着中俄美开会,APEC场外的车队,才是中国打出的一张“王炸”

别只盯着中俄美开会,APEC场外的车队,才是中国打出的一张“王炸”

听风看局
2026-11-17 17:09:05
“一堆人去吃预制菜,也配叫研学吗?”一张700人合照,气到了家长

“一堆人去吃预制菜,也配叫研学吗?”一张700人合照,气到了家长

熙熙说教
2026-11-18 11:51:39
别买!全是假的!又一产品大翻车,成本只有10元,很多人长期上当

别买!全是假的!又一产品大翻车,成本只有10元,很多人长期上当

孤城落日
2026-11-17 19:04:34
车长近5米,换上皇冠同款直瀑式格栅,拥有30万级豪华气场,仅售13万多

车长近5米,换上皇冠同款直瀑式格栅,拥有30万级豪华气场,仅售13万多

隔壁说车老王
2026-11-18 21:26:37
伊朗最大的贡献,并非把美国打败了,而是打破了美国盟友幻想

伊朗最大的贡献,并非把美国打败了,而是打破了美国盟友幻想

别吵吵
2026-11-17 18:27:40
开封万岁山《三打祝家庄》正演出,一枚表演用 “炮弹” 落入观众席 ;现场观众:未发现有人受伤,有人衣角被火花燎到

开封万岁山《三打祝家庄》正演出,一枚表演用 “炮弹” 落入观众席 ;现场观众:未发现有人受伤,有人衣角被火花燎到

大风新闻
2026-11-18 11:47:02
A股三大板块,爆发!

A股三大板块,爆发!

证券时报
2026-11-18 16:28:03
胖东来投资超2亿进军郑州,于东来:不打商战!年赚上亿的店将关闭,承认失误

胖东来投资超2亿进军郑州,于东来:不打商战!年赚上亿的店将关闭,承认失误

上观新闻
2026-11-18 15:23:54
北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

北京一男子掏空积蓄,凑500万入股中国人寿,20年后分红吓人

一刀故事
2025-05-14 13:32:29
明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

云霄纪史观
2026-11-17 04:14:58
一种玄学:尽量不要过度伺候家中老人

一种玄学:尽量不要过度伺候家中老人

脆皮先生
2026-11-17 21:32:15
又一个“铁头”诞生了!

又一个“铁头”诞生了!

胖胖说他不胖
2026-11-18 07:55:17
血脂最高降97%!降脂新药一年仅需一针,血脂管理迎新突破

血脂最高降97%!降脂新药一年仅需一针,血脂管理迎新突破

思思夜话
2026-11-18 11:29:47
奥克兰市长从中国回新西兰后,公开宣称“民主已经过时”,“五眼席位可卖给日本”

奥克兰市长从中国回新西兰后,公开宣称“民主已经过时”,“五眼席位可卖给日本”

发现新西兰
2026-11-18 12:11:59
载重五吨!中国巨型无人货机震撼首飞,斩获835架大单

载重五吨!中国巨型无人货机震撼首飞,斩获835架大单

瞩望云霄
2026-11-18 21:15:04
2026-11-18 21:59:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
游戏
本地
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

《GTA6》全新截图公开!男主开战斗机 女主瑜伽裤

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版