网易首页 > 网易号 > 正文 申请入驻

让Agent首次拥有“视听双流记忆”:openJiuwen Agent-Memory看懂长视频,关键事件一个不落

0
分享至

允中 发自 凹非寺
量子位 | 公众号QbitAI

openJiuwen AgentMemory正式上线了多模态记忆能力OmniMem-Lens:按秒盲切是记忆碎片化的元凶,按真实事件记忆才是正解——召回精度最高提升45.7%,在线问答时延最高降低97%

一个让所有Agent头疼的问题:3小时的视频,怎么“记”?

在AI智能体(Agent)与多模态模型(VLM)快速演进的今天,我们已经不满足于让Agent处理单一的文本工作了,而是让它干更复杂的活儿。

比如“看完3小时的新品发布会,并找出所有产品亮点”,或者“分析一整天的监控视频,并标记出异常事件”。

然而,现有Agent面对超长视频时,海量信息会瞬间超出其上下文限度,导致处理能力和准确度大大下降。

目前业界的通行做法,是粗暴地把长视频按固定时间窗口(如一分钟)切分成一小段一小段,让智能体分开去记忆。

这种方式如同盲人摸象,给智能体记忆带来了两个致命伤:

① 记忆被切碎——证据碎片化

一段原本连贯的老师讲解,在中间被切断,前半段和后半段被智能体分开处理、分开存储。当用户提问时,智能体只能拿到半个“断章取义”的证据,于是胡编乱造、幻觉频出。

② 记忆被稀释——证据淹没

一个几秒钟的关键动作,与前后几分钟无关的背景画面强行打包。智能体检索细节时,关键信息被大量噪音淹没,召回精度断崖式下跌。

问题的根源是,Agent是“按秒”在记视频,而人是“按事件”在理解视频。

打个比方,你回忆昨天看过的电影,会按“主角相遇→误会→和解”这样的情节去记,而不是拿秒表每60秒存一段。可现在的Agent,恰恰是拿秒表在记电影。

更棘手的是,市面上大多数视频事件分割方案只依赖单一模态,只看画面,或只听语音。可这两条路都会失灵:画面长时间不动时,它看不见内容其实换了议题;没有台词时,它听不到任何线索。

这不是算力不足,而是记忆在切分源头就失去了“焦点”。

OmniMem-Lens:让Agent像人一样“按事件”记忆

为了让智能体像人类大脑一样真正处理长视频,团队在openJiuwen AgentMemory 0.2.0版本中正式上线了OmniMem-Lens(多模态记忆透镜)能力。

作为AgentMemory针对视频多模态记忆处理的核心技术,OmniMem-Lens开创性地通过视觉听觉两条轨迹来理解视频中的事件,并以此完成记忆内容的组织,让Agent的视频记忆第一次真正做到——按事件存,按事件取

团队对它的定位是:给智能体装上一个懂得“自动定焦”和“分层整理”的超级海马体

它做对了三件事:按真实事件切、分层存记忆、离线建好在线查



视觉听觉联动:像人类大脑一样,按真实事件记忆

OmniMem-Lens给智能体同时装上了“眼睛”和“耳朵”:眼睛看画面,画面切换时判断出变化并标记;耳朵听语音,画面没动但说话人换了话题时,通过ASR语音转录分辨出来。

双证据交叉对焦,长视频被切分在真实事件边界上,智能体对视频的理解从此不再“断章取义”。

三层记忆结构:不同颗粒度分层存,细节回溯与整体理解兼得

用户的每次提问,需要的证据颗粒度可能都不一样。OmniMem-Lens在后台建立了一个三层记忆单元:



要大纲有大纲,要细节有细节,检索时按需取用,互不干扰。

就像一本带目录和索引的书:目录(L1)帮你翻到大致章节,索引(L2)帮你定位到具体某一句话,原文(L0)随时可以翻回去核对。

同时,L1与L2记忆单元完全文本化与向量化,可以无缝接入主流向量数据库——对已有RAG/Agent技术栈的开发者来说,几乎零改造即可用上。

记忆离线建,回答在线查:慢功夫提前做,快响应留给用户

如果每次不同角度的提问,都需要智能体把几个小时的视频重新看一遍,不仅反应极慢,还会消耗巨大算力。

OmniMem-Lens把繁重的记忆整理工作提前在离线做完;智能体面对提问时直接查记忆,做到秒级响应,问什么答什么。

在线检索的链路并不复杂:用户Query先与L1/L2的记忆单元做语义匹配,快速定位到精炼的多模态记忆;只有当明确需要视觉细节验证时,系统才按需调取L0层的精确视频帧。这种“轻量级文本索引+延迟调取原始视频”的架构,大幅提升了视频记忆检索的效率。

OmniMem-Lens的设计哲学在于:像专业摄像机一样双焦定格事件边界,像三棱镜一样分层折射记忆结构,从而让智能体对长视频的理解,从盲目切割,走向精准透视。

实测数据:精度全面领先,时延最高降97%

说得再好,不如跑一遍数据。团队选取了三个主流长视频问答评测集,将应用了OmniMem-Lens能力配合Qwen3-VL-8B模型处理视频记忆问答,与直接使用VLM模型Qwen3-VL-8B处理视频内容问答进行对比。

一句话看懂下面的表:
“召回精度”越高=找到的证据越准;
“在线时延”越低=等答案的时间越短。

① 记忆召回精度:三个评测集全面领先



在通用长视频基准Video-MME-L上提升8%,长视频理解基准LVbench上提升6.4%。

最亮眼的是EgoLife-QA上的+45.7%——这个评测集以第一人称视角记录一整天的日常生活,事件密集、细节琐碎,恰恰是固定切分最容易失效的场景,也最能体现“按真实事件组织记忆”的价值。



② 在线问答时延:从“重新看一遍视频”到“直接查记忆”



视频越长,VLM直答需要“啃”的画面就越多,时延也就越长——LVbench上Qwen3-VL-8B要等34.5秒,OmniMem-Lens只需1.72秒,快了整整20倍

换成生活场景:VLM直答像每次都把3小时的电影从头到尾重看一遍再回答你;OmniMem-Lens像一位看电影时就已经做好笔记的影评人,你问哪段,他翻笔记直接答。
两个例子,看懂“失焦盲切”与“精准透视”的差距

例一:因果关系被切断



以一段2小时的动画片为例:站台上,女生离开、男生目送,女生离开后,男生幻想她变成蝴蝶飞走。

固定1分钟盲切把这段120分钟的视频切成120个片段。而“女生离开→男生目送→幻想蝴蝶”这个完整事件,从第14分20秒持续到第16分50秒,恰好横跨第14、15、16三个窗口,被窗口边界连切两刀。

于是碎片变成了三段互不相干的记录:第14分钟「女生离开」、第15分钟「男生目送」、第16分钟「蝴蝶飞走」

当用户查询“在女生离开后,男生在想象什么?”时,检索到的片段里只有“男生目送”和“蝴蝶飞走”,却没有任何线索说明这蝴蝶只是幻想——智能体把它当成了真实发生的事,答非所问。

OmniMem-Lens则把这个事件作为完整的一段(第14分20秒—第16分50秒)存进记忆:ASR流听出话题转向,视觉流捕捉到场景切换,双流对焦在真实边界落刀。“女生离开后再幻想”的因果关系被完整保留,事实与幻想分得清清楚楚,准确回答。

同一段视频,不同的记忆组织方式,就是“答不出”和“答得准”之间的差距。

例二:画面静止时,耳朵才是关键

上面这个例子靠视觉线索就能解决。而下面这个场景,光有眼睛是不够的



一场2小时的产品评审会,屏幕上始终是同一张架构图,40分钟没有任何变化。但这40分钟里,讲者先后讲了三个独立议题:架构设计、性能压测、下季度排期。

只看视觉的方案(以及固定窗口盲切)看到的是“一段静止画面持续40分钟”,于是判定为同一段内容,把三个议题打包进同一条记忆。当用户问“性能压测那部分的QPS是多少”时,关键数字被埋在40分钟的噪音里,召不回来。

OmniMem-Lens的ASR语音流听得出来:画面没变,但讲者在换话题。语音一旦转向,系统立即落刀——三个议题各自成段,提问时一击即中。

这正是视听双流的价值所在:视觉失灵时,听觉顶上;听觉失灵时(比如无台词的镜头切换),视觉顶上。任何单独一路都可能漏判,两路交叉才靠得住。

WorkSwarm即将支持对接使用openJiuwen AgentMemory,将日常对话中的视频内容帮你记住,讨论时帮助你快速回忆。

写在最后

智能体要想真正替人类干复杂的工作,就不能只有“执行力”,更要有“好记性”。

OmniMem-Lens通过让智能体“按真实事件记”与“分层高效查”,解决了长视频场景下智能体记忆碎片化、找不准、反应慢的问题,为多模态智能体打造了一套高精度、极速响应的记忆底座,让智能体在面对长视频时,真正做到“过目不忘、对答如流”。

OmniMem-Lens已在openJiuwen AgentMemory 0.2.0版本正式上线,欢迎体验、共建。

如果这篇文章对你有帮助,欢迎点赞、在看、转发三连,也欢迎在评论区聊聊:你的Agent是怎么处理长视频记忆的?

项目地址:https://gitcode.com/openJiuwen/agent-memory/

*本文系量子位获授权刊载,观点仅为原作者所有。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
还有谁?央视最高规格致敬C罗,一整期节目全是他,催泪告白:有一种英雄主义叫C罗

还有谁?央视最高规格致敬C罗,一整期节目全是他,催泪告白:有一种英雄主义叫C罗

球盲百小易
2026-11-17 00:59:04
人民日报推荐的双腿提踵!不起眼的踮脚,好处远超你的想象

人民日报推荐的双腿提踵!不起眼的踮脚,好处远超你的想象

解说阿洎
2026-10-19 04:57:50
官宣了!罗伯特・帕丁森成为新一任007

官宣了!罗伯特・帕丁森成为新一任007

齐鲁壹点
2026-11-17 07:20:15
比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

琅琊财经
2026-07-31 22:02:18
广州豹官方发布投票:选出您心仪的广州豹2027赛季主场

广州豹官方发布投票:选出您心仪的广州豹2027赛季主场

懂球帝
2026-11-17 19:39:11
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

财经要参
2026-11-09 12:00:05
这身材这颜值就是带个儿子也有大把男人要啊

这身材这颜值就是带个儿子也有大把男人要啊

草莓解说体育
2026-11-18 08:03:09
高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

古怪奇谈录
2025-10-16 10:53:42
男子为滋补,生吞新鲜蛇胆,大约花生米大小!3个月后抽搐倒地,检查结果让人吓一跳:脑子里长满寄生虫;医生:生蛇胆不是补品

男子为滋补,生吞新鲜蛇胆,大约花生米大小!3个月后抽搐倒地,检查结果让人吓一跳:脑子里长满寄生虫;医生:生蛇胆不是补品

科学大观园
2026-11-17 08:02:56
教育厅长的愧疚、学校的秋假商请函,谁在偷走孩子的时间

教育厅长的愧疚、学校的秋假商请函,谁在偷走孩子的时间

行者殷涛
2026-11-17 14:54:53
被嘲讽电梯战神!37岁王刚笑了:一开始很抵触 后觉得这是球迷的爱

被嘲讽电梯战神!37岁王刚笑了:一开始很抵触 后觉得这是球迷的爱

风过乡
2026-11-17 08:57:51
1947年,汉奸丁默邨临刑前的最后一搏:他要和蒋介石做一笔特殊的交易

1947年,汉奸丁默邨临刑前的最后一搏:他要和蒋介石做一笔特殊的交易

唠叨说历史
2026-11-17 16:18:34
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

篮球盛世
2026-11-17 13:03:08
砒霜口服药让一类白血病患者存活率超97%,康复患者发声:药物的味道像海水一样,如果我不告诉别人,他们不可能知道我在一年多前曾患血癌

砒霜口服药让一类白血病患者存活率超97%,康复患者发声:药物的味道像海水一样,如果我不告诉别人,他们不可能知道我在一年多前曾患血癌

大风新闻
2026-11-16 10:40:08
江苏,女子在菜场借给陌生男子10元救急,十年后在公交偶遇让其还钱,男子反将女子殴打致骨折:“都怪你!”法院判决亮了

江苏,女子在菜场借给陌生男子10元救急,十年后在公交偶遇让其还钱,男子反将女子殴打致骨折:“都怪你!”法院判决亮了

励职派
2026-11-17 13:05:31
网友背着30斤重的柯基与背着40斤重的萨摩耶主人在山上相遇,狗主人对视而笑,两狗难分伯仲…评论区:还有只拉布拉多更是重量级…

网友背着30斤重的柯基与背着40斤重的萨摩耶主人在山上相遇,狗主人对视而笑,两狗难分伯仲…评论区:还有只拉布拉多更是重量级…

大爱狗狗控
2026-11-12 20:46:25
直播打赏的钱怎么分成,刷个3000块的嘉年华主播到底能拿多少?

直播打赏的钱怎么分成,刷个3000块的嘉年华主播到底能拿多少?

草莓解说体育
2026-11-18 02:13:15
贵州2026:全国第21,超山西!工业猛,收入增,贵阳崛起,安顺差

贵州2026:全国第21,超山西!工业猛,收入增,贵阳崛起,安顺差

奇思妙想生活家
2026-11-18 08:23:57
2026-11-18 09:43:00
量子位 incentive-icons
量子位
追踪人工智能动态
13690文章数 176601关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

雷军在深圳发言被调侃"有点社恐" 小米:紧张太正常啦

头条要闻

雷军在深圳发言被调侃"有点社恐" 小米:紧张太正常啦

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

亲子
旅游
家居
艺术
公开课

亲子要闻

“阳光体艺 快乐成长”宜春市第八小学第29届体育艺术节

旅游要闻

赏秋“小长假”撬动亲子游大需求

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版