网易首页 > 网易号 > 正文 申请入驻

8273篇投稿中脱颖而出,小米这篇论文拿下ACM MM杰出论文奖

0
分享至

第 34 届 ACM 国际多媒体会议(ACM MM 2026)在巴西里约热内卢举办。小米大模型应用团队完成的论文 "PROVE: A Perceptual RemOVal cohErence Benchmark for Visual Media"(PROVE:面向视觉媒体的感知消除一致性基准)获评 ACM MM 2026 杰出论文奖(Outstanding Paper Award)。


本届会议共收到 8273 篇投稿,接收 1703 篇,其中 Oral 168 篇。ACM MM 由 ACM SIGMM 主办,1993 年首次举办,是中国计算机学会(CCF)推荐的 A 类国际学术会议,也是多媒体领域历史最久、影响力最大的旗舰会议之一,覆盖计算机视觉、自然语言处理、多媒体系统、人机交互等方向。

奖项之外,更值得关注的是这套框架已经进入产品链路。PROVE 感知评测框架已应用于小米图像魔法消除模型的迭代升级中,图像魔法消除能力已覆盖小米 18 系列、小米 18 Fold、小米 17 系列、REDMI K100 系列等机型。

团队将 PROVE 引入图像魔法消除模型的评估与优化流程,以更贴近人眼感知的局部一致性判断,帮助模型更早发现背景补全不协调、纹理衔接不自然等细粒度问题,从而更高效地定位优化方向。消除效果实现显著提升,背景补全更自然、纹理衔接更顺畅,模型迭代效率也得到了显著提升。PROVE 同时用于其他相关小米影像模型的迭代与训练数据清洗。

为什么需要一个新指标

随着扩散模型在图像与视频编辑中的普及,"把画面里的目标擦掉、让背景自然补全"已经成为内容创作、影视后期、隐私处理的常用能力。但消除结果究竟好不好,该用什么来衡量,这个基础问题长期没有解决好。

目标消除是典型的"一对多"问题——同一个被消除的对象,可以生成多种合理的背景,并不存在唯一的标准答案。现有指标因此集体失灵:

  • PSNR、SSIM、LPIPS 等全参考指标偏好"复制粘贴"式的保守结果;
  • ReMOVE、CFD 等无参考指标会给更模糊的画面打出更高分;
  • TC、TF 等时序指标在全帧上计算,局部的闪烁被大面积背景稀释。

数据层面同样两难:真实视频缺少配对的无目标真值,而带真值的数据多为合成场景,难以反映真实世界的复杂性。

两个指标加一套基准

PROVE 感知评测框架由两个指标与一套基准组成。RC-S(空间一致性)按连通域把掩码拆成独立目标,各自裁剪并外扩 1/3 作为上下文,在 DINOv2 语义特征上用滑动窗口比较"擦除区域"与"周边背景"的分布差异(MMD),捕捉人眼可见的局部不协调。

RC-T(时间一致性)在相邻帧取掩码并集统一裁剪,只在"两帧都被修复"的交集区域逐窗口追踪特征分布漂移,避免整帧平均掩盖局部闪烁。

PROVE-Bench 分两部分:PROVE-M 提供 80 组真实拍摄的配对视频(输入 / 掩码 / 无目标真值,81 帧 1080p,并通过运动增强模拟手持、推拉、跟随拍摄);PROVE-H 提供 100 条高难度视频(人群、动态背景、高纹理、复杂反射、快速运动),不设真值,用于压力测试。

研究团队系统对比了 13 项评测指标,既包括 PSNR、SSIM、LPIPS 等传统图像质量指标,也包括 ReMOVE、CFD 等目标消除专用指标。实验覆盖 6 个图像与视频数据集、11 个模型,并开展近 20 项验证实验,同时邀请 20 名参与者进行主观评价。

结果显示,RC-S 指标与人类判断的平均 Kendall's τ(排序一致性)和 Spearman's ρ(排序相关性)分别达到 0.59 和 0.66,优于此前常用的 m-LPIPS(0.52/0.58)、ReMOVE(0.26/0.29)和 CFD(0.16/0.18)等指标,在 6 个基准测试中平均排名第一。

进一步实验表明,随着消除区域模糊程度增加,传统的 ReMOVE 和 CFD 上的评价结果反而有所改善,而 RC-S 能够持续反映质量下降。针对视频时序稳定性,RC-T 能够有效识别随机丢帧、换帧造成的画面闪烁与不连续,而传统 TC、TF 等时序一致性指标对此几乎没有反应。

PROVE 的代码与数据均已开源,后续还可延伸至短视频创作、电商素材清理、影视后期和隐私脱敏等场景。项目主页、代码(Apache 2.0)、数据集与论文均已公开。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
上海警方通报:王某,刑拘!10个月发生200多起交通事故,几乎天天撞,绝大部分被认定为无责方,手段太阴了

上海警方通报:王某,刑拘!10个月发生200多起交通事故,几乎天天撞,绝大部分被认定为无责方,手段太阴了

环球网资讯
2026-11-18 10:45:02
这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

历史伟人录
2025-05-08 10:08:01
北京开始流行上半天学了?帝都小学生家长来说下真实情况

北京开始流行上半天学了?帝都小学生家长来说下真实情况

三个妈妈六个娃
2026-11-19 00:57:04
“1600元烤全羊剥不出一两肉”,四川平武县通报

“1600元烤全羊剥不出一两肉”,四川平武县通报

扬子晚报
2026-11-18 21:35:50
“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

“我儿子敢这样穿,我上去就是一巴掌”,儿子一套低认知穿搭,家长还发到网上炫耀,网友怒了

蝴蝶花雨话教育
2026-11-18 00:05:17
很难相信,这就是GPT 6.2

很难相信,这就是GPT 6.2

人工智能学家
2026-11-18 16:40:34
刘欢走了,他生前提得最多的人里,不是妻子,不是女儿,是他弟弟

刘欢走了,他生前提得最多的人里,不是妻子,不是女儿,是他弟弟

情感大头说说
2026-11-18 17:58:41
上新了!高市的表情包,日本的碰瓷外交

上新了!高市的表情包,日本的碰瓷外交

这里是东京
2026-11-18 19:00:19
中美俄三方会晤前,普京点赞中国,特朗普说了句令人意外的话

中美俄三方会晤前,普京点赞中国,特朗普说了句令人意外的话

新浪财经
2026-11-18 08:49:37
中俄美元首首次三边会晤落地深圳APEC,为全球格局带来哪些新信号?专访南京大学教授朱锋

中俄美元首首次三边会晤落地深圳APEC,为全球格局带来哪些新信号?专访南京大学教授朱锋

红星新闻
2026-11-18 23:59:08
忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

锐评利物浦
2026-11-18 10:15:40
百大UP老戴直播《GTA6》被封!刚播了20分钟

百大UP老戴直播《GTA6》被封!刚播了20分钟

游民星空
2026-11-18 20:47:56
克里米亚大桥被炸断了!泽连斯基庆贺,普京远在深圳也要报复

克里米亚大桥被炸断了!泽连斯基庆贺,普京远在深圳也要报复

世界地缘档案
2026-11-18 10:53:23
销户上岸!有大佬提交成功截图离场,网友:我明天也全部清仓,亏得有精神问题了

销户上岸!有大佬提交成功截图离场,网友:我明天也全部清仓,亏得有精神问题了

火山詩话
2026-11-19 05:46:27
大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

大一女生穿“洛丽塔”报到,本以为能惊艳全场,没想到连行李都没人愿意帮忙搬

妍妍教育日记
2026-08-23 10:10:12
女子和2个男友缠绵“爽翻天”,打胎多次怀恨在心,2019年让他俩互相残杀

女子和2个男友缠绵“爽翻天”,打胎多次怀恨在心,2019年让他俩互相残杀

汉史趣闻
2026-11-18 18:40:10
人醉过,才知道什么是酒什么是爱

人醉过,才知道什么是酒什么是爱

疾跑的小蜗牛
2026-11-13 19:09:51
麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

湖人崛起
2026-11-18 11:38:46
贾玲线下被偶遇,穿紧身衣服身材苗条,皮肤白皙状态像大学生

贾玲线下被偶遇,穿紧身衣服身材苗条,皮肤白皙状态像大学生

白宸侃片
2026-11-18 17:52:40
震惊!网友拍下望京星巴克一幕:多位老人摆放回收杯,假装消费休息占位,评论炸锅

震惊!网友拍下望京星巴克一幕:多位老人摆放回收杯,假装消费休息占位,评论炸锅

火山詩话
2026-11-19 06:08:24
2026-11-19 09:32:49
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
220文章数 88关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
本地
亲子
数码
艺术

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

宝宝气人但是聪明的4个行为

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

无障碍浏览 进入关怀版