第 34 届 ACM 国际多媒体会议(ACM MM 2026)在巴西里约热内卢举办。小米大模型应用团队完成的论文 "PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media"(PROVE:面向视觉媒体的感知消除一致性基准)获评 ACM MM 2026 杰出论文奖(Outstanding Paper Award)。
![]()
本届会议共收到 8273 篇投稿,接收 1703 篇,其中 Oral 168 篇。ACM MM 由 ACM SIGMM 主办,1993 年首次举办,是中国计算机学会(CCF)推荐的 A 类国际学术会议,也是多媒体领域历史最久、影响力最大的旗舰会议之一,覆盖计算机视觉、自然语言处理、多媒体系统、人机交互等方向。
奖项之外,更值得关注的是这套框架已经进入产品链路。PROVE 感知评测框架已应用于小米图像魔法消除模型的迭代升级中,图像魔法消除能力已覆盖小米 18 系列、小米 18 Fold、小米 17 系列、REDMI K100 系列等机型。
团队将 PROVE 引入图像魔法消除模型的评估与优化流程,以更贴近人眼感知的局部一致性判断,帮助模型更早发现背景补全不协调、纹理衔接不自然等细粒度问题,从而更高效地定位优化方向。消除效果实现显著提升,背景补全更自然、纹理衔接更顺畅,模型迭代效率也得到了显著提升。PROVE 同时用于其他相关小米影像模型的迭代与训练数据清洗。
为什么需要一个新指标
随着扩散模型在图像与视频编辑中的普及,"把画面里的目标擦掉、让背景自然补全"已经成为内容创作、影视后期、隐私处理的常用能力。但消除结果究竟好不好,该用什么来衡量,这个基础问题长期没有解决好。
目标消除是典型的"一对多"问题——同一个被消除的对象,可以生成多种合理的背景,并不存在唯一的标准答案。现有指标因此集体失灵:
- PSNR、SSIM、LPIPS 等全参考指标偏好"复制粘贴"式的保守结果;
- ReMOVE、CFD 等无参考指标会给更模糊的画面打出更高分;
- TC、TF 等时序指标在全帧上计算,局部的闪烁被大面积背景稀释。
数据层面同样两难:真实视频缺少配对的无目标真值,而带真值的数据多为合成场景,难以反映真实世界的复杂性。
两个指标加一套基准
PROVE 感知评测框架由两个指标与一套基准组成。RC-S(空间一致性)按连通域把掩码拆成独立目标,各自裁剪并外扩 1/3 作为上下文,在 DINOv2 语义特征上用滑动窗口比较"擦除区域"与"周边背景"的分布差异(MMD),捕捉人眼可见的局部不协调。
RC-T(时间一致性)在相邻帧取掩码并集统一裁剪,只在"两帧都被修复"的交集区域逐窗口追踪特征分布漂移,避免整帧平均掩盖局部闪烁。
PROVE-Bench 分两部分:PROVE-M 提供 80 组真实拍摄的配对视频(输入 / 掩码 / 无目标真值,81 帧 1080p,并通过运动增强模拟手持、推拉、跟随拍摄);PROVE-H 提供 100 条高难度视频(人群、动态背景、高纹理、复杂反射、快速运动),不设真值,用于压力测试。
研究团队系统对比了 13 项评测指标,既包括 PSNR、SSIM、LPIPS 等传统图像质量指标,也包括 ReMOVE、CFD 等目标消除专用指标。实验覆盖 6 个图像与视频数据集、11 个模型,并开展近 20 项验证实验,同时邀请 20 名参与者进行主观评价。
结果显示,RC-S 指标与人类判断的平均 Kendall's τ(排序一致性)和 Spearman's ρ(排序相关性)分别达到 0.59 和 0.66,优于此前常用的 m-LPIPS(0.52/0.58)、ReMOVE(0.26/0.29)和 CFD(0.16/0.18)等指标,在 6 个基准测试中平均排名第一。
进一步实验表明,随着消除区域模糊程度增加,传统的 ReMOVE 和 CFD 上的评价结果反而有所改善,而 RC-S 能够持续反映质量下降。针对视频时序稳定性,RC-T 能够有效识别随机丢帧、换帧造成的画面闪烁与不连续,而传统 TC、TF 等时序一致性指标对此几乎没有反应。
PROVE 的代码与数据均已开源,后续还可延伸至短视频创作、电商素材清理、影视后期和隐私脱敏等场景。项目主页、代码(Apache 2.0)、数据集与论文均已公开。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.