DF26：当AI造的假视频，连人类都认不出来了

2024年往后，如果有人跟你说"我一眼就能看出这是不是AI生成的视频"，你大概可以礼貌地表示怀疑了。

一群来自乌克兰天主教大学、Hover公司和布拉格捷克技术大学的研究者，做了一件挺扎心的事。他们找来271段真实的公开演讲视频，用七个当下最先进的AI视频生成模型，造出了2420段假视频，然后拉了一批志愿者来做测试：分清真假。

结果是，人类对这些假视频的判断准确率是52.6%。

抛硬币的准确率是50%。也就是说，面对这批最新的AI生成视频，人类的判断能力已经和瞎猜没什么本质区别了。这不是一句夸张的比喻，是论文里实打实的数据。而更让人意外的是，那些号称"最先进"的自动化深假检测系统，表现也没好到哪去，有的甚至比人还差。

这篇论文的名字就叫《DF26：我们再也分不清真假了》，标题不算耸动，是陈述事实。

难在哪里，先说清楚

要理解这件事有多不寻常，得先回头看看深假检测这个领域过去在做什么。

过去几年里，学术界研究深假检测，主要盯着的是"换脸"和"面部操控"这类技术。

深假（Deepfake）：指利用AI技术合成或篡改的虚假音视频内容，最早特指用深度学习做人脸替换的伪造视频。

FaceForensics++、DFDC这些经典的基准数据集，训练出来的检测器专门擅长抓换脸、抓面部表情的重演痕迹。这些检测器在自家测试集上表现相当亮眼，AUROC（一种衡量分类器性能的指标，越接近100表示区分能力越强）能到90分以上。

问题是，2024年之后，视频生成技术换了一条赛道。现在的主流生成方式不再是"把A的脸换到B的视频上"，而是直接从一段文字描述，或者一张图片，生成一整段全新的、完全合成的视频。这类技术叫做文本到视频生成（Text-to-Video，T2V）和图像到视频生成（Image-to-Video，I2V），前者是给模型一段文字描述直接生成视频，后者是给一张起始图片让模型生成后续动作。

这两种生成方式和"换脸"是完全不同的路数。换脸是在真实素材上做局部篡改，留下的痕迹主要集中在脸部区域的拼接边缘、光照不一致这些细节上。而T2V和I2V是无中生有，整个画面里的人、背景、光影、动作，全部由模型凭空"想象"出来，没有拼接边界可找。

这就好比过去警察抓造假币，主要看纸张纤维和油墨接缝，因为假币是用真纸伪造图案。但现在造假者换了办法，直接用3D打印做出一整块和真币材质几乎一样的东西，你再去查接缝，自然查不出什么，因为压根没有接缝。如果检测器还在用老办法找"拼接痕迹"，那它面对全新生成的视频时几乎必然会失灵。这也正是DF26团队观察到的现象：那些在换脸类数据集上训练出来的检测器，一放到全新生成的视频上，准确率断崖式下跌。

具体跌了多少？论文里给出了一个非常刺眼的对比。DFD-FCG和PwTF-DVD这两个基于时序信息的检测器（会分析视频帧与帧之间的运动一致性来判断真假），在CelebDF++（CDFv3，一个较新的换脸类基准数据集）上分别拿到了94.3和92.3的AUROC，属于相当能打的水平。可是同样这两个模型，换到DF26上测试，AUROC直接掉到48.2和61.6。DFD-FCG的分数比随机瞎猜（50分）还低一点，这意味着它对这批新型AI视频基本上没有识别能力。

这不是某一个检测器发挥失常，而是系统性的问题。论文测试的九个主流检测器里，表现最好的是GenD-PE（一种基于对比学习预训练特征的检测方法），也只拿到69.7的AUROC，离"能用"还差得远，更别说接近90分的及格线了。

DF26怎么造出来的

搞清楚了问题所在，接下来就是DF26这个基准数据集本身是怎么造出来的，以及它的设计巧妙在哪。

如果你要测试"检测器能不能识别AI生成的假视频"，最简单粗暴的做法，是随便找一堆真视频和一堆AI生成的视频，混在一起让检测器判断。但这种做法有个致命漏洞：真视频和假视频如果内容差异太大，检测器可能压根不是靠"察觉生成痕迹"来判断，而是靠"这个场景看起来就不像真实拍摄"这种内容层面的取巧线索。

DF26团队想明白了这一点，所以他们的做法是先找一段真实视频，再用AI模型分析这段视频的画面内容，自动生成一段详细的文字描述（他们管这个过程叫"语义提示词生成"），然后拿这段描述去喂给七个不同的视频生成模型，让它们各自生成一段"内容尽量相似，但完全是AI合成"的对应视频。

这样一来，真视频和对应的假视频，讲的是同一个场景，同一个人物设定，同一种背景，唯一的变量就是"这段视频到底是真实拍摄的还是AI生成的"。检测器如果想蒙混过关，靠猜测"这个场景是不是常见的现实场景"来投机取巧，这条路基本被堵死了，它必须真的去找生成痕迹才行。

这就像考试出题，如果你想测试学生对某道数学题解法的真实理解程度，不能只是换个数字重新问一遍，因为学生可能记住了答案的数值特征而不是解题过程。真正严谨的做法是保持题目的知识点和难度完全一致，只改变表面的包装，逼着学生用真本事去解题。如果不这么设计，学生（这里对应检测器）完全可以靠猜测题型套路蒙对答案，那这场考试就测不出真实水平。DF26的"语义配对"设计，本质上就是在做这件事：把"内容差异"这个作弊捷径堵死，逼检测器去看真正的生成痕迹。

用于生成语义提示词的，是谷歌的Gemini 2.5多模态大模型（一种能同时理解图像和文字的AI模型）。整个数据集覆盖三种最容易被用来制造虚假信息的公开演讲场景：直面镜头的随手录制（比如vlog、网络直播画面）、官方声明场合（比如新闻发布会、讲台演讲）、以及演播室访谈。这三种场景选得很有针对性，因为现实中的虚假信息传播，恰恰最爱用这几种形式，因为它们看起来最有权威感和真实感。

七个生成模型里，有三个是开源模型：阿里的Wan 2.2、腾讯的HunyuanVideo 1.5、Lightricks的LTX 2.3精简版；另外四个是商业闭源系统：快手的Kling 3.0、谷歌的Veo 3.1、阿里的Wan 2.6、以及埃隆·马斯克旗下SpaceXAI的Grok Imagine 1.0。这些模型都是2025年底到2026年初发布的最新版本，团队特意用了Artificial Analysis（一个第三方AI模型评测平台）的Elo评分来标注每个模型的"实力等级"，方便后续研究者按需筛选。

最终这批基准数据集包含2691段视频，其中271段是真实素材，2420段是AI生成的，覆盖了三种拍摄场景、两种生成模式（文本生成和图像生成）、七个不同的生成模型。所有视频统一裁剪成5秒长度、1280×720分辨率，这样做是为了排除"视频长度不同""画质不同"这些干扰因素，让检测器面对的唯一变量真的只剩下"真的还是生成的"。

数据出来了，检测器和人类都栽了

数据集造好了，接下来就是拉着九个当下最强的检测器和一批人类志愿者，来一场真刀真枪的测试。

先说人类这边的结果。研究者找了一批志愿者，主要是理工科大学的学生，每人要判断30段视频的真假，其中15段是真的，15段是假的，测试者事先不知道具体比例。为了公平对比，团队同时用了另外两个较新的深假数据集CelebDF++和DeepSpeak v2作为参照组，让同一批志愿者在三个数据集上都做判断。

结果相当耐人寻味。在识别真实视频这件事上，三个数据集的人类准确率几乎一模一样，分别是76.0%、75.5%、72.8%，说明真实视频本身的"可信度"在三个数据集里没有明显差异。可一旦换成判断"这是不是假的"，差距就拉开了：CelebDF++上人类准确率有74.5%，DeepSpeak v2上是69.8%，而DF26上，只有52.6%。

这个数字意味着什么？意味着面对DF26里的假视频，人类几乎是在瞎蒙，判断对与不对，跟丢硬币差不多。换句话说，问题不是出在"人类觉得真视频看起来奇怪"，而是"人类根本找不到假视频里的破绽"，因为这些破绽已经细微到肉眼无法察觉的程度了。

再看检测器这边。前面已经提到过整体AUROC的暴跌，这里再补充几个更细节、也更有意思的发现。

研究者把检测器的表现按"生成器来源"拆开看，发现开源模型生成的视频，检测器还能勉强应付，但商业闭源模型生成的视频，检测器几乎全线溃败。以PwTF-DVD为例，面对开源模型生成的视频，AUROC是70.5，面对商业闭源模型生成的视频，直接掉到48.3，差了整整22.2个百分点。DFD-FCG的情况更极端，开源对闭源的差距是22.9个百分点。

这个现象其实很好理解。开源模型的架构、训练方式、生成算法是公开的，研究社区有更多机会去研究它们生成图像时留下的"数字指纹"（比如某种特定的噪声模式、特定的频率特征），检测器多少能针对性地学到一些规律。而商业闭源模型像Veo、Kling、Grok这些，背后的技术细节是完全保密的，它们往往还经过了更精细的后期调优和压缩处理，检测器压根没有机会研究它们的"作案手法"，自然就抓瞎了。

这就像海关缉毒犬训练。缉毒犬如果只在训练时接触过某几种特定包装方式和特定气味浓度的毒品样本，一旦犯罪分子换了完全不同的包装工艺和掩盖手法，缉毒犬大概率会漏检。如果检测器的训练数据里从来没见过Veo或者Kling生成的画面长什么样，它在实际部署时对这些模型生成的内容基本等同于失明。这不是检测器不努力，是它压根没有机会"见过"这种新型伪造手法。

论文还发现了一个更微妙的现象：不同检测器在不同生成模式下，谁是"最强王者"会互相换位。

在图像到视频（I2V）的场景下，表现最好的是一个基于时序分析的模型PwTF-DVD；而在文本到视频（T2V）的场景下，表现最好的却换成了基于单帧特征分析的GenD-PE。这说明I2V和T2V这两种生成方式留下的破绽是不一样的，没有一个检测器能通吃所有情况，这对"部署一个万能深假检测系统"这个目标来说，不是一个好消息。

一个更极端的例子来自具体的生成器对比。PwTF-DVD在检测Wan 2.2文本生成的视频时，AUROC高达92.9，几乎是完美识别；可切换到HunyuanVideo 1.5生成的视频上，AUROC直接跌到接近随机水平（41.9到56.7之间浮动）。同一个检测器，面对两个不同的生成模型，表现天差地别。这也说明所谓的"整体平均分"其实掩盖了非常严重的性能波动，一个检测器的宏观AUROC看着还行，很可能是靠在某几个"简单"生成器上刷高了分，遇到"难"的生成器直接现原形。

还有一个特别值得说的细节，来自补充材料里的人类测试结果。LTX 2.3精简版的图像到视频生成，是人类判断准确率最低的一类，只有25.2%。研究者特意做了一个换算：因为一段完全没有破绽的生成视频，人类的预期识别率不应该是0%，而应该等于"人类把真实视频误判为假"的那个基准比例，这个比例在DF26上是24.0%（也就是100减去76.0的真实视频准确率）。25.2%和24.0%几乎完全重合，说明这批LTX生成的视频，在人眼里已经和真实拍摄的视频完全没有区别了。

但反转来了：这个LTX生成的视频，在自动化检测器眼里恰恰是最容易识破的几个生成器之一，PwTF-DVD对它的AUROC达到79.5，GenD-PE达到81.5，DFD-HR更是达到83.8。

这意味着人类看不出来的破绽，机器能看出来；机器容易漏掉的信号，人类反而能靠某种直觉察觉到。人和机器犯错的模式完全不重叠，这个发现挺重要的，说明未来做深假检测系统，光靠单一维度（要么纯视觉AI，要么纯人工审核）恐怕都不够稳妥，可能得想办法把两种判断方式结合起来。

补救实验：重新训练能挽回多少

发现检测器不行之后，研究团队没有就此打住，还做了一个补救性的实验：把表现最好的GenD-PE模型，用DF26里"官方声明"这一类场景下的HunyuanVideo 1.5生成的I2V视频，重新训练一遍，看看效果能不能改善。

这个实验设计遵循的是"跨生成器协议"，也就是训练时只用一个生成器的数据，测试时专门看它在完全没见过的其他生成器上表现如何，这样才能验证"学到的规律是不是有泛化能力"，而不是死记硬背了某个生成器的特定痕迹。

结果相当鼓舞人心。重新训练之后的GenD-PE，在完全没见过的商业闭源生成器上表现大幅提升：对Grok Imagine 1.0的AUROC从66.5跳到96.8，对Veo 3.1从76.6跳到95.6，对Wan 2.6从88.3小幅提升到93.1。这几个数字都超过了90分，意味着这个重新训练过的检测器，对这几个商业模型生成的视频，识别能力已经相当可靠了。

这个结果说明了一件挺关键的事：不是检测器这条技术路线本身没救了，而是过去训练检测器用的数据太老旧了。如果一直拿十年前的换脸数据集去训练模型，那模型学到的永远是"如何识别换脸痕迹"，而不是"如何识别AI生成的画面本质特征"。一旦用上更贴近当下生成技术的训练数据，哪怕只是一个细分场景的数据，模型的泛化能力也能有质的飞跃。

这就好比学外语。如果你十年如一日地只背诵某本旧教材上的固定句型，遇到母语者现场随口一说的地道表达，你大概率是听不懂的，因为你脑子里存的知识和现实语言的实际用法已经脱节了。但如果哪怕只是换了一本更贴近当下口语习惯的教材，重新练习一段时间，你会发现理解能力提升得比想象中快。检测器面对的道理是一样的：老教材（旧数据集）教不出应对新考题（新一代生成模型）的能力，换一本新教材，哪怕内容不算特别全面，效果也立竿见影。

不过这个实验也留了个问题没解决透彻。用HunyuanVideo训练出来的模型，虽然对付商业模型效果拔群，但对付另一个开源模型LTX 2.3，AUROC只有67.0（I2V模式），并不算特别理想。这说明"在一个生成器上训练，泛化到所有生成器"这件事，依然没有一劳永逸的解法，不同生成器之间的"生成痕迹"差异，可能比想象中更复杂。

写在后面

读完这篇论文，最触动我的其实不是那些冷冰冰的AUROC数字，而是那个52.6%的人类准确率背后隐藏的一件事：我们大多数人对"我能分辨真假"这件事，可能还停留在两三年前的自信水平上，没有意识到生成技术已经悄悄跨过了那道门槛。

论文里那个LTX生成视频的例子特别值得琢磨。人类完全看不出破绽，机器却能轻松识破，这说明"欺骗人眼"和"骗过算法"根本是两套不同的技能树，生成模型在优化的时候，很可能天然地更擅长优化视觉直觉层面的相似度（因为训练数据和损失函数本身就是针对人眼可感知的画面质量做优化的），而不是消除那些统计学意义上的、人眼根本注意不到的数字特征。这中间的错位，短期内恐怕很难被消除，因为这本质上是生成模型的优化目标决定的。

还有一点值得多想一层。研究团队特意提到，商业闭源模型的表现比开源模型更难被检测，这背后未必只是技术上的原因，很可能还有商业公司为了产品体验做的各种压缩、降噪、风格化后处理，这些处理客观上也起到了"洗掉生成痕迹"的效果，虽然这大概率不是厂商的初衷。这提醒我们一件事：深假检测这场博弈，可能不只是"检测器 vs 生成器"这么简单，中间还夹杂着商业产品迭代带来的意外副作用。

论文最后也坦诚承认了局限，这个数据集只有2691段视频，规模不算大，而且完全没涉及音频层面的破绽，比如口型同步、语音真实感这些同样重要的维度。这倒是给了后来者一个明确的方向：如果视觉层面的真假边界已经这么模糊，音频层面又会是什么局面？也许下一个让所有人"分不清真假"的战场，不在眼睛里，而在耳朵里。

Q&A

Q1：DF26数据集是什么？

A：DF26是一个专门用来测试AI生成视频检测能力的基准数据集，包含271段真实的单人公开演讲视频和2420段由七个最新AI视频生成模型制造的假视频，覆盖直面镜头录制、官方声明、演播室访谈三种场景。

Q2：人类识别DF26里的假视频准确率有多高？

A：只有52.6%，接近随机猜测的50%水平，远低于人类在CelebDF++（74.5%）和DeepSpeak v2（69.8%）上的表现，说明这批最新AI生成的视频已经很难被肉眼分辨。

Q3：现有的深假检测器在DF26上表现如何？

A：普遍表现不佳，最好的检测器GenD-PE的AUROC也只有69.7，部分检测器如DFD-FCG甚至跌到接近随机水平的48.2，说明这些在旧数据集上训练的检测器难以应对新一代生成模型。