网易首页 > 网易号 > 正文 申请入驻

第一次,多模态大模型学会边看边听,Meta新作性能暴涨113%

0
分享至

新智元报道

编辑:LRST

【新智元导读】Meta联合多所高校发布首个可规模化自动生成第一视角音视频理解数据的引擎EgoAVU ,让多模态大模型首次真正「听懂世界」。

现在最强的多模态大模型,虽然能接收声音和视频输入,但无法做到真正的「同时理解」。

在第一视角视频任务中,模型经常会出现各种问题,比如完全忽略音频信息、错误判断声源位置、用视觉线索「猜声音」,也就是说,现在的多模态大模型只会看,但不会听。

而这正是当前具身智能的一大瓶颈。

Meta研究团队发现:最大瓶颈在数据,而非模型。

论文链接:https://arxiv.org/abs/2602.06139

代码:https://github.com/facebookresearch/EgoAVU

数据:https://huggingface.co/datasets/facebook/EgoAVU_data

当前主流数据集存在三个致命问题:视觉中心化严重、缺乏真实音频语义、没有跨模态关联标注,结果就是导致模型从来没有真正学过如何理解声音与视觉之间的关系。

为解决这一难题,Meta提出了首个自动化音视频数据引擎EgoAVU,是一个全新思路,直接自动生成跨模态数据,论文已被CVPR2026接收

EgoAVU是一个完整的数据生产系统,可以自动理解视频中的声音-视觉关系、自动生成高质量问答与叙述数据、自动筛选最具跨模态信息的视频,最终形成可规模扩展的数据流水线。

一次性生成百万级训练数据

基于EgoAVU,团队构建了两个重要资源:

EgoAVU-Instruct

300万条训练样本,覆盖5大任务:

声源关联(Source–Sound Association, SSA)

问:视频里听到的某个声音(比如滋滋声)来自哪里/什么物体?

音视频片段叙述(Audio–Visual Segment Narration, AVSN)

问:在某个时间段(如 240–250 秒),描述周围环境、人物动作,以及能听到的声音。

音视频密集叙述(Audio–Visual Dense Narration, AVDN)

问:对整个视频进行更全面、更细节的「看到了什么/听到了什么/做了什么」的密集描述。

时序推理(Temporal Reasoning, TR)

问:某个动作之前/之后发生了什么,通常是多选或从候选项中选择。

音视频幻觉检测(Audio–Visual Hallucination, AVH)

问:视频里是否真的存在某个声音/事件(例如「微波炉有没有哔哔声」),用于检测模型是否「编造」。

EgoAVU-Bench

首个专门评测音视频理解能力的基准,包含3000条人工验证问题。

性能提升有多夸张?

实验结果显示,在新数据上微调后,Benchmark性能最高提升113%、其他任务最高提升28%

研究进一步揭示:当前多模态模型普遍存在严重视觉偏置。

EgoAVU带来的最大启示是:未来AI竞争的关键,可能不是「模型结构」,而是「数据引擎能力」。

这标志着多模态AI正在从「模型驱动」迈向新的技术范式「数据驱动」。

第一视角音视频理解是机器人感知、自动驾驶、AR/VR、可穿戴AI的核心基础能力。

EgoAVU为这些领域提供了关键突破,让多模态大模型第一次真正学会「听懂第一视角世界」。

论文一作Meta的实习研究员来自马里兰大学的博士生Ashish Seth,指导老师蔡志鹏是Meta的高级研究员,主要研究方向是优化、感知和多模态生成等通用计算机视觉/机器学习问题,论文曾评为ECCV18年12篇最佳论文之一,获得英特尔实验室2024年最佳学者奖。

参考资料:

https://arxiv.org/abs/2602.06139

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
周六下午,刚炸出来三条重磅消息,股民都拢过来瞅一眼!

周六下午,刚炸出来三条重磅消息,股民都拢过来瞅一眼!

股侠指北针
2026-11-21 15:37:49
黄仁勋筹500亿美元或再创业,英伟达暴跌2.7万亿美元,全世界投资者想念老黄,老黄没有退路

黄仁勋筹500亿美元或再创业,英伟达暴跌2.7万亿美元,全世界投资者想念老黄,老黄没有退路

王新喜
2026-11-21 16:18:56
这次真没仁了!拜仁7人遭遇伤停,锋线几乎无人可用

这次真没仁了!拜仁7人遭遇伤停,锋线几乎无人可用

懂球帝
2026-11-21 05:42:10
9:6!缅甸被判种族灭绝罪,70万难民逃亡邻国,中国法官投反对票

9:6!缅甸被判种族灭绝罪,70万难民逃亡邻国,中国法官投反对票

观锐器
2026-11-21 17:52:33
特朗普亚洲行后举行白宫记者会:为普京辩护、重申对伊朗行动“必要性”

特朗普亚洲行后举行白宫记者会:为普京辩护、重申对伊朗行动“必要性”

澎湃新闻
2026-11-21 14:28:44
荷兰防务公司主动承认导弹打击克里米亚大桥,俄方随即空袭基辅,碎片落在荷兰使馆后院,荷兰首相:不会被吓倒

荷兰防务公司主动承认导弹打击克里米亚大桥,俄方随即空袭基辅,碎片落在荷兰使馆后院,荷兰首相:不会被吓倒

蔡蔡说史
2026-11-20 18:08:48
不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

不出意外的话!2027年1月1日起,5大涨价潮可能杀到,快提前了解

一曲一场談
2026-11-21 11:59:52
红果当下最火3部短剧,榜首一集就把人看住了

红果当下最火3部短剧,榜首一集就把人看住了

乡野小珥
2026-11-20 03:04:06
中国最大饺子店,要上市了!

中国最大饺子店,要上市了!

先锋新闻
2026-11-21 06:54:25
中国斯诺克最新战报!巩晨智5-2夺赛点,黄佳浩领先泰国女将,刘杨败局已定?

中国斯诺克最新战报!巩晨智5-2夺赛点,黄佳浩领先泰国女将,刘杨败局已定?

刘姚尧的文字城堡
2026-11-21 21:06:26
宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

宁愿把80%石油绕远送欧洲,也不愿就近多给中国,到底图什么?

慕名而来只为你
2026-11-19 21:45:20
《GTA 6》主角能全裸吗?IGN实测给出答案

《GTA 6》主角能全裸吗?IGN实测给出答案

游民星空
2026-11-21 08:29:25
金饰克价一天跌了34元

金饰克价一天跌了34元

每日经济新闻
2026-11-21 12:25:43
WTT球星赛战报!女单4强赛对阵,国乒小将0-3完败,桥本强势零封

WTT球星赛战报!女单4强赛对阵,国乒小将0-3完败,桥本强势零封

南海浪花
2026-11-21 00:33:19
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
骨科专家卢磊去世,“世上少了一位好医生”

骨科专家卢磊去世,“世上少了一位好医生”

医学界
2026-11-21 08:07:01
离谱!46万买一只“肉眼看不见”的LV小包,打喷嚏都能弄丢!

离谱!46万买一只“肉眼看不见”的LV小包,打喷嚏都能弄丢!

最黑科技
2026-11-15 22:15:51
2026年11月21日:今日金价:大家做好心理准备,黄金将迎来大行情

2026年11月21日:今日金价:大家做好心理准备,黄金将迎来大行情

时尚的弄潮
2026-11-21 11:27:04
逆转!东契奇25+8+4,亨特30+6+2,马刺很无奈:西部第一易主

逆转!东契奇25+8+4,亨特30+6+2,马刺很无奈:西部第一易主

篮球大视野
2026-11-21 14:35:12
前英特尔CEO基辛格否认摩尔定律已走向终结

前英特尔CEO基辛格否认摩尔定律已走向终结

IT之家
2026-11-21 19:49:29
2026-11-21 22:23:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16735文章数 67241关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
家居
本地
数码
公开课

旅游要闻

三峡红叶景如画

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

数码要闻

极摩客GMK M10迷你主机上架:锐龙5 6600H、24+512GB到手3399元

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版