图文全对竟是假新闻！CVPR2026 开源�...

来源：清华大学数据科学研究院数据派

本文约2000字，建议阅读5分钟本文介绍了 AI 多模态伪造陷阱、MDSM 数据集及 AMD 检测框架。

AI 换脸、AI 造谣早已无孔不入，一张篡改的图片、一段 AI 大模型写的通顺文案，就能造出一条以假乱真的新闻，搅动舆论、误导公众，可现有检测系统却常常“视而不见”？

问题核心在于：当前的假新闻检测技术，像个只会找“图文错别字”的新手——它只认图文不匹配的低级伪造，却对 AI 大模型打造的语义严丝合缝、逻辑毫无破绽的高欺骗性假内容，彻底束手无策。

政客换脸伪造的现场新闻、名人表情篡改搭配的虚假声明、真实画面搭配 AI 大模型编造的误导叙事…… 这些关键场景的识别与拦截，正是多模态内容安全的“最后一公里”痛点。

现有技术对此力不从心，急需能识破“一致性陷阱”的新一代智能检测方案。

西安交通大学、合肥工业大学和澳门大学的研究团队，在 CVPR 2026 上提出从数据集构建到跨模态建模的全流程解决方案。

论文、代码、数据集已全部开源，立即探索多模态内容安全新范式：

The Coherence Trap: When MLLM-Crafted Narratives Exploit Manipulated Visual Contexts

论文链接：

https://arxiv.org/abs/2505.17476

代码 & 数据集：

https://github.com/YcZhangSing/AMD

1、新挑战：AI 大模型带来的「一致性陷阱」，传统检测失灵

不止找图文不匹配，更要识破「看起来全对，实则全假」的完美骗局！

传统方案把视觉篡改和文本编辑拆成两个独立步骤，造出来的假内容满是图文错位的破绽，普通人都能一眼看穿（上图左）。

而真实世界的恶意攻击，早已用上了更隐蔽的套路：先精准篡改图像，再用 AI 大模型生成和篡改画面完全对齐、语境通顺的虚假叙事，彻底抹平所有显性破绽（上图右）。

这种“一致性陷阱”，直接戳中了现有研究的两大致命短板：

低估 AI 大模型的欺骗风险：主流方案只针对规则化的文本篡改，完全忽视了 AI 大模型能生成高连贯、高迷惑性虚假内容的能力，对新型攻击毫无防备；

与真实场景严重脱节：现有数据集大多是人工制造的图文不匹配样本，欺骗性极低，训练出的模型在真实攻防中完全“水土不服”。

2、44万+图文基准：MDSM 数据集发布！还原真实世界的 AI 假新闻

规模空前：包含超 44.1 万高质量图文对，源数据覆盖《卫报》《纽约时报》等五大主流媒体，是目前多模态伪造检测领域规模最大的基准数据集。

高度语义对齐：业界首个全量样本实现图文语义完全对齐的基准，完美复刻真实攻击场景，检测难度指数级提升，彻底告别“过家家”式的低难度训练。

场景真实全面：涵盖人脸换脸、属性篡改、文本伪造等 5 类核心伪造类型，同时支持虚假内容检测、伪造类型识别、篡改区域定位三大核心任务。

模型驱动的多模态伪造数据集（MDSM）的数据统计

3、「伪影捕手」AMD 框架：一眼看穿 AI 大模型的伪造套路

〓 操纵诊断模型 (AMD) 的框架概述

看懂“伪影”辨真假：创新设计伪影预感知编码机制，给模型装上“伪造雷达”，专门捕捉篡改内容留下的隐性痕迹，在保留海量世界知识的同时，注入极强的伪造感知能力。

“双路找茬”精准定位：采用面向伪造的推理模块，双分支交叉捕捉视觉、文本双模态的伪造线索，同时精准定位图像中的篡改区域，实现“是否造假+哪里造假+造了什么假”的端到端全流程识别。

轻量化高效率：仅用 0.27B 参数量，就实现了超百亿级通用大模型的检测效果，兼顾顶尖性能与极快推理速度，极具风控场景应用落地潜力。

4、实验结果：性能全面领跑 SOTA，效果惊艳！

核心性能拉满：如表 2 所示，在 MDSM 跨域测试中，AMD 实现平均 88.18% ACC、60.25 mAP、61.02 mIoU 的顶尖成绩，全面碾压 ViLT、HAMMER++、FKA-Owl 等现有 SOTA 方案；

通用大模型集体失灵：GPT-4o、Gemini 2.0、Qwen3-VL 等通用大模型，在该场景下零样本检测效果几乎失效，进一步印证了 AMD 的针对性优势；

超强泛化能力：如表 3 所示，在跨数据集 DGM4 测试中，AMD 依然拿下平均 74.47% ACC 的最优成绩，适配各类伪造场景，落地性拉满；

小参数高性能：如表 4 所示，仅 0.27B 参数量，在 RTX 4090 上推理速度可达 13.38 pairs/s，兼顾精度与效率。

5、为什么这很重要？

内容安全全面升级：为社交媒体风控、新闻真实性核验、舆情防控等场景装上 “AI 假新闻识别引擎”，精准拦截 AI 时代的高欺骗性虚假信息，筑牢数字内容安全防线。

行业研究破局拐点：首次系统性揭示了 AI 驱动的一致性伪造风险，填补了该领域的研究空白，MDSM 数据集更是解决了长期以来“数据与真实场景脱节”的核心瓶颈，推动整个领域的技术迭代。

落地效率倍增：轻量化、端到端的统一架构，无需复杂的多模块组合，即可实现全维度的伪造检测，大幅降低产业落地门槛，让 AI 内容安全技术真正能用、好用。