网易首页 > 网易号 > 正文 申请入驻

「听觉」引导「视觉」,OmniAgent开启全模态主动感知新范式

0
分享至

针对端到端全模态大模型(OmniLLMs)在跨模态对齐和细粒度理解上的痛点,浙江大学、西湖大学、蚂蚁集团联合提出 OmniAgent。这是一种基于「音频引导」的主动感知 Agent,通过「思考 - 行动 - 观察 - 反思」闭环,实现了从被动响应到主动探询的范式转变。

在 Daily-Omni 等多个基准测试中,其准确率超越 Gemini 2.5-Flash 和 Qwen3-Omni 等开闭源模型。

  • 论文地址:https://arxiv.org/pdf/2512.23646
  • 论文主页:https://kd-tao.github.io/OmniAgent
  • 发起实验室ENCODE LAB:https://westlake-encode-lab.github.io/

背景与痛点

  1. 端到端全模态模型虽然实现了视听统一,但往往受限于高昂的训练成本和困难的跨模态特征对齐,导致在细粒度跨模态理解上表现不佳;
  2. 基于固定 Workflow 的智能体依赖人为设定僵化的流程,缺乏细粒度和灵活性,无法根据问题自主的进行规划与信息获取;
  3. Caption-based 视频智能体需要在分析问题之前,先针对整个视频构建帧 caption 数据库,随后基于视频字幕数据库来理解内容,但这种方法计算成本高,难以捕捉细节的跨模态信息。

相比之下,OmniAgent 引入了一种全新的主动感知推理范式。通过在迭代反思循环中策略性地调度视频与音频理解能力,该方法有效攻克了跨模态对齐的难题,从而实现了对视听内容的细粒度理解。

方法论

OmniAgent 摒弃了固定的工作流,采用了「思考 - 行动 - 观察 - 反思」闭环机制 。

1.思考:OmniAgent 会根据问题进行分析,自主决定「听」还是「看」。

2.行动:根据计划,OmniAgent 会从构建的多模态工具中选取合适的工具进行调用:

  1. 事件工具:利用音频能够高效捕捉全局上下文的特性,首创音频引导事件定位,快速锁定关键时间窗口,避免对长视频进行无效的视觉扫描 。
  2. 视频工具:包含粗粒度的全局视频问答,以及在特定时间内基于更高帧率进行分析的片段问答工具。
  3. 音频工具:涵盖音频全局描述、细粒度问答,以及支持精确时间戳的语音转录 (ASR)。

3.观察与反思机制:智能体接受工具结果,评估目前已有的证据能否正确的回答问题,并且结合之前在多步推理中进行跨模态一致性检查,确保视听证据互证,解决幻觉与对齐问题。

效果如何?

OmniAgent 在三个主流视听理解基准测试中均取得了 SOTA 成绩,显著优于现有的开源及闭源模型:

1.Daily-Omni Benchmark:准确率达到 82.71%,超越 Gemini 2.5-Flash (72.7%) 和 Qwen3-Omni-30B (72.08%),提升幅度超 10% 。

2.OmniVideoBench:在长视频理解任务中,准确率达 59.1%,大幅领先 Qwen3-Omni-30B (38.4%) 。

3.WorldSense:OmniAgent 也保持了领先的准确度。

未来愿景

  1. OmniAgent 的设计理念有很高的扩展性,能够继续结合其他模态的工具;
  2. OmniAgent 能够帮助生成高质量的 COTT 数据,用来构建可以自我调用工具的下一代智能体全模态模型。

总的来看,OmniAgent 证明了在全模态理解任务中,音频引导的的主动感知策略是解决跨模态对齐困难、提升细粒度推理能力的有效路径。该工作为未来的全模态 Agent 算法设计提供了新的范式参考。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
太和县公安局李兴派出所一级警员李鹏被查

太和县公安局李兴派出所一级警员李鹏被查

阜阳发布
2026-11-19 22:16:52
杨瀚森2+1+1!开拓者送雄鹿12连败垫底 利拉德33+6亨德森27+7

杨瀚森2+1+1!开拓者送雄鹿12连败垫底 利拉德33+6亨德森27+7

醉卧浮生
2026-11-20 11:32:13
王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

王毅:我刚刚在机场相继送别了特朗普总统和普京总统,所以让大家久等了,各位辛苦了,听得出,外长的嗓音有些沙哑,也非常辛苦

每日经济新闻
2026-11-20 09:59:35
女子借贷7万相亲,升级“重点会员”数月后婚介公司人去楼空,婚介陷阱曝光:宣称成功率98.63%,诱导顾客贷款消费

女子借贷7万相亲,升级“重点会员”数月后婚介公司人去楼空,婚介陷阱曝光:宣称成功率98.63%,诱导顾客贷款消费

大风新闻
2026-11-20 10:32:04
山东男子专挑留守妇女下手,糟蹋村中20名妇女,作案手法触目惊心

山东男子专挑留守妇女下手,糟蹋村中20名妇女,作案手法触目惊心

悬疑故事屋
2026-11-20 14:42:49
七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

珠三角港
2026-11-20 10:44:17
老人学会网购后 一口气下单15吨薯条喂猪:5毛一斤 比玉米饲料还划算 一拌上饲料猪就“抢着吃”

老人学会网购后 一口气下单15吨薯条喂猪:5毛一斤 比玉米饲料还划算 一拌上饲料猪就“抢着吃”

闪电新闻
2026-11-20 10:50:52
特朗普率十多名高官访华,美国终于发现:想绕开中国没那么容易

特朗普率十多名高官访华,美国终于发现:想绕开中国没那么容易

麓谷隐士
2026-11-20 06:44:04
突发!63 岁黄仁勋正在考虑创立新公司,网友:一定要自己控股呀!

突发!63 岁黄仁勋正在考虑创立新公司,网友:一定要自己控股呀!

起点财经
2026-11-20 13:46:06
全面下跌,何时见底?

全面下跌,何时见底?

星图金融研究院
2026-11-20 15:37:21
陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

陕西23岁女大学生,被黑人男友传染艾滋,事后称很爱他我不后悔

妙妙奇思物语
2026-11-20 14:58:41
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
突发!黄仁勋再曝新消息,该来的还是来了!

突发!黄仁勋再曝新消息,该来的还是来了!

财经要参
2026-11-20 16:00:05
一次性补缴10万元,每月领1433元,成都养老补缴爆了

一次性补缴10万元,每月领1433元,成都养老补缴爆了

数字财经智库
2026-11-20 09:36:50
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

特朗普在深圳没拉车窗帘,这个细节让美国特勤局集体沉默

歪歌社团
2026-11-20 07:01:47
文班亚马32分11板马刺轻取快船,卡斯尔21+6+12加兰23分5助

文班亚马32分11板马刺轻取快船,卡斯尔21+6+12加兰23分5助

湖人崛起
2026-11-20 11:31:13
克里米亚大桥完全断了,大帝不想打了,但谈的过程川普想重构北约

克里米亚大桥完全断了,大帝不想打了,但谈的过程川普想重构北约

邵旭峰域
2026-11-20 15:03:48
“加沙种族灭绝令人发指”

“加沙种族灭绝令人发指”

参考消息
2026-11-19 17:24:05
把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

把反华做成生意的Anthropic 上市了,封号不退钱,一年收割中国用户 200 亿

起点财经
2026-11-20 09:50:54
2026-11-20 18:40:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14522文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

交付破16万台背后 全新ES8凭什么成为「高端纯电第一车」?

态度原创

本地
时尚
家居
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

今年冬天不穿大衣了?这件“非凡外套”才是真顶流!

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版