网易首页 > 网易号 > 正文 申请入驻

ACM MM 2025 | EventVAD:7B参数免训练,视频异常检测新SOTA

0
分享至

来自北京大学,清华大学的研究团队联手京东(JD.com)在 ACM MM 2025 发表了一种以事件为中心低成本高效的 Training-Free 视频异常检测框架 EventVAD,论文第一作者邵轶骅目前为北京大学学术访问学生,项目负责人为来自京东(JD.com)的算法研究员马傲,目前代码和数据已全面开源。

现有视频异常检测(Video Anomaly Detection, VAD)方法中,有监督方法依赖大量领域内训练数据,对未见过的异常场景泛化能力薄弱;而无需训练的方法虽借助大语言模型(LLMs)的世界知识实现检测,但存在细粒度视觉时序定位不足、事件理解不连贯、模型参数冗余等问题。

为此,来自北大、清华和京东(JD.com)的研究团队提出了一种全新的视频异常检测框架 ——EventVAD。该框架通过动态图架构与多模态大模型(MLLMs)的时序事件推理结合,在减少模型参数的同时,显著提升了异常检测的精度和效率。实验结果显示,EventVAD 在 UCF-Crime 和 XD-Violence 两大数据集上均超越现有 SOTA 方法,成为无需训练场景下的新标杆。

  • 论文标题:EventVAD: Training-Free Event-Aware Video Anomaly Detection
  • 论文链接:https://arxiv.org/abs/2504.13092
  • 代码开源:https://github.com/YihuaJerry/EventVAD

研究背景和动机

视频异常检测(VAD)的核心目标是精准定位视频中的异常帧,但现有方法存在显著局限:

有监督方法依赖大量标注数据,在新场景中需重新微调,泛化能力差;即使是单类监督或无监督方法,也因缺乏有效标签难以达到理想性能。无需训练方法以 LAVAD 为代表的方法通过视觉问答模型和 LLMs 评分实现异常定位,但存在两大问题:一是依赖至少 130 亿参数的 LLM,导致框架效率低下;二是缺乏对视频的时序理解能力,难以连贯解析长视频,易出现误检和长尾问题。

研究团队发现,无需训练方法的核心瓶颈在于无法对视频中的异常事件进行完整定位,导致后续 LLM 评分存在偏差。受此启发,如上图所示,EventVAD 通过将长视频分割为短事件片段,增强 MLLMs 对视频的时序一致性理解,同时引入动态图模型捕捉帧间关联,最终在减少参数的情况下实现了更高精度的异常检测。

EventVAD 的关键创新

EventVAD 的整体框架包含四个核心模块:事件感知动态图构建、图注意力传播、统计边界检测和事件中心异常评分。通过这一流程,实现了从视频帧特征提取到异常帧精准定位的端到端无需训练检测。

事件感知动态图构建

为捕捉视频的动态时序特征,EventVAD 构建了融合语义与运动信息的动态图模型。结合 CLIP 的语义特征(512 维)和 RAFT 光流的运动特征(128 维),通过融合系数(α=0.75)平衡两种特征,增强事件的时序一致性。通过语义相似度(余弦距离)和运动相似度(指数距离)计算帧间关联,并引入时间衰减因子(γ)抑制长距离帧的冗余关联,突出短时间内的事件连贯性。

图注意力传播

为优化帧级特征并保持时序一致性,EventVAD 设计了基于正交约束的图注意力机制。通过 QR 分解生成正交的查询(Q)、键(K)、值(V)矩阵,避免特征维度坍缩。基于动态图的邻接矩阵计算注意力权重,通过迭代传播更新节点特征,增强事件边界的区分度。

统计边界检测

为精准分割视频中的事件边界,EventVAD 采用了噪声鲁棒的统计方法。复合差异度量中,结合 L2 范数(特征幅度跳变)和余弦距离(方向变化),捕捉事件转换的不连续性。通过 Savitzky-Golay 滤波平滑噪声,计算信号比(局部与全局均值比),并基于中位数绝对偏差(MAD)设置动态阈值,实现无监督的事件边界检测。

事件中心异常评分

为提升 MLLMs 对视频的理解效率,EventVAD 提出分层提示策略。将分割后的事件片段输入 MLLMs,先生成视频内容描述,再基于描述输出异常评分,形成 “自校正” 机制。相比传统帧级分析或全局处理,事件级分析平衡了上下文完整性与特征精细度,减少长视频分析中的误差传播。

实验验证

研究团队在 UCF-Crime 和 XD-Violence 两大基准数据集上对 EventVAD 进行了全面评估,结果显示其性能显著优于现有方法。

UCF-Crime 数据集上的结果

EventVAD 以 70 亿参数实现了 82.03% 的 AUC,超越需 130 亿参数的 LAVAD(提升近 4%),同时优于所有无监督、单类监督方法,甚至超过部分弱监督方法。

XD-Violence 数据集上的结果

使用 XD-Violence 数据集的结果中,在 AP 和 AUC 指标上均比现有无需训练的 SOTA 方法(LAVAD)高出约 5%,验证了其在高分辨率场景下的适应性。

可视化分析

图注意力传播可视化分析如下图,选取 UCF-Crime 数据集中的异常和正常视频样本,对应用图注意力传播前后的帧间关系进行可视化。热力图展示了相应帧区间内帧与帧之间权重关系的变化。

统计边界检测可视化分析如下图,以 UCF-Crime 数据集中的样本为例,对异常视频和正常视频的边界检测过程进行可视化。

消融实验

UCF-Crime 和 XD-Violence 数据集中正常样本与异常样本的可视化。对 LAVAD 未能正确检测出异常的样本进行了可视化,下图展示了事件分割结果以及多模态大语言模型(MLLM)的异常帧评分,并与真实标签进行了对比。

总结与展望

EventVAD 作为首个以事件为中心的免训练视频异常检测模型,将推动领域从帧级标注到完整事件级标注的演进。它提供了完整的特征增强,事件划分,异常评分的免真值异常检测基础,极大减少了人工标注的成本和重新训练的开销。未来,随着视频理解模型的星期,EventVAD 这类以事件为中心的视频异常检测范式将为视频细粒度理解提供基础。期待基于 EventVAD 涌现更多创新的算法,加速视频帧级异常检测的发展。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中方向全世界通告,若台海开战,出兵参战一律等同侵略中国领土!

中方向全世界通告,若台海开战,出兵参战一律等同侵略中国领土!

史之韵
2026-08-12 20:38:17
赵一鸣方回应“4块牛肉干收64元复秤仅17元”(来源:福建电视台)

赵一鸣方回应“4块牛肉干收64元复秤仅17元”(来源:福建电视台)

界面新闻
2026-08-12 19:50:05
终于知道为什么有这么多人怀念疫情前的生活了!看着看着就破防了

终于知道为什么有这么多人怀念疫情前的生活了!看着看着就破防了

另子维爱读史
2026-08-12 22:07:01
现世报应!重庆王先生转战西藏旅游,当地酒店餐馆集体预警,全城拒绝接待

现世报应!重庆王先生转战西藏旅游,当地酒店餐馆集体预警,全城拒绝接待

老猫观点
2026-08-12 17:36:09
歌唱家郭兰英去世,享年97岁,一生两段婚姻无儿女,最后遗愿曝光

歌唱家郭兰英去世,享年97岁,一生两段婚姻无儿女,最后遗愿曝光

180视角
2026-08-12 09:03:23
太心酸了!42岁著名女歌手江苏走穴,宾客只顾吃席没人搭理

太心酸了!42岁著名女歌手江苏走穴,宾客只顾吃席没人搭理

小徐讲八卦
2026-02-12 12:13:20
必须铲平!那座用中国血泪浇筑的屈辱之塔,揭开它,就是揭开整个亚洲最惨痛的殖民伤疤

必须铲平!那座用中国血泪浇筑的屈辱之塔,揭开它,就是揭开整个亚洲最惨痛的殖民伤疤

人生录
2026-08-12 00:05:08
泪目!C罗安慰梅西:加油里奥 要坚强 给你和你家人大大的拥抱

泪目!C罗安慰梅西:加油里奥 要坚强 给你和你家人大大的拥抱

念洲
2026-08-12 21:56:59
他是浙江交通厅厅长,80亿卖掉高速收费权,带儿子一起受贿

他是浙江交通厅厅长,80亿卖掉高速收费权,带儿子一起受贿

阿器谈史
2026-08-12 18:23:47
成都一足浴店组织卖淫,牵出多名警察徇私枉法

成都一足浴店组织卖淫,牵出多名警察徇私枉法

评论员岳连
2026-08-12 16:45:39
邓小平南方谈话后,朱镕基认为不要片面强调发展是硬道理而受到压力,邓小平对其观点予以肯定

邓小平南方谈话后,朱镕基认为不要片面强调发展是硬道理而受到压力,邓小平对其观点予以肯定

党史博采
2022-01-18 13:59:37
央视再三提醒:绑定银行卡的手机,务必开启这几项功能!

央视再三提醒:绑定银行卡的手机,务必开启这几项功能!

记录生活日常阿蜴
2026-08-12 06:02:43
她这大体格太棒了,身高大约180左右,这真是无数人心中女神形象

她这大体格太棒了,身高大约180左右,这真是无数人心中女神形象

乡野小珥
2026-08-13 00:15:07
官宣!41岁C罗与32岁乔治娜低调结婚 婚礼私密温馨 婚前协议曝光

官宣!41岁C罗与32岁乔治娜低调结婚 婚礼私密温馨 婚前协议曝光

念洲
2026-08-12 06:48:16
瑞典大满贯:女单爆冷!陈熠剃光头,国乒2人遭绝杀,王曼昱开战

瑞典大满贯:女单爆冷!陈熠剃光头,国乒2人遭绝杀,王曼昱开战

衔春信
2026-08-13 00:02:13
福建省南平市委副书记、市长林建被查

福建省南平市委副书记、市长林建被查

新京报
2026-08-12 20:33:31
“原来姚安娜是艺名”冲上热搜,电视剧《烈阳之上》演员阵容公布,姚安娜本名“姚思为”引发热议

“原来姚安娜是艺名”冲上热搜,电视剧《烈阳之上》演员阵容公布,姚安娜本名“姚思为”引发热议

洪观新闻
2026-08-12 15:47:33
重磅!湖人以120亿美元天价再次被出售,ESPN已证实!

重磅!湖人以120亿美元天价再次被出售,ESPN已证实!

爱体育
2026-08-12 22:38:05
第一次感受到了风油精的“洪荒之力”,几块钱一瓶,能解决这么多事

第一次感受到了风油精的“洪荒之力”,几块钱一瓶,能解决这么多事

抠搜侠
2026-08-07 13:59:21
俄罗斯终于露出了最致命的软肋!战死在乌克兰的,大多是布里亚特

俄罗斯终于露出了最致命的软肋!战死在乌克兰的,大多是布里亚特

果妈聊娱乐
2026-08-12 08:32:47
2026-08-13 03:00:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13742文章数 142718关注度
往期回顾 全部

科技要闻

Manus第二季,浪子回头

头条要闻

冲上热搜:银行能办结婚证了

头条要闻

冲上热搜:银行能办结婚证了

体育要闻

杜兰特,所谓的“联盟小王”

娱乐要闻

老戏骨杨昆两夺金鹰奖,因物业费被告

财经要闻

华尔街把AI算力炒成下一个房地产?

汽车要闻

全系600km续航/空间表现出色 奇瑞风云T7预售10.99万起

态度原创

旅游
游戏
本地
公开课
军事航空

旅游要闻

住在五华区几十年,竟不知五华山这名,源自 700 年前一座元代古寺!

《羊蹄山之魂 完整版》预购开启!568港币 10月发售

本地新闻

黄州一夜,苏轼写给普通人的月光

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

通过“毕业大考” 湖北舰“持证上岗”

无障碍浏览 进入关怀版