人类越来越难分辨一段文字是不是AI写的,检测软件能做得更好吗?Pangram是这个领域的头部产品之一,主打"接近零的误报率",靠的是比对人类写作与AI写作之间的"细微线索",并用训练加反馈的模型不断校准。
![]()
围绕Pangram的争议一直存在。此前有一篇短篇小说被Pangram判定为AI生成,随后又被认定并非AI所写,这款检测引擎因此被指对少数群体作者的文本存在偏见。支持者则会拿出另一项证据:Pangram设有一笔持续发放的悬赏,目前金额为3950美元,任何人只要能找出一篇2019年之前、也就是大模型出现之前的文章被Pangram误判为AI所写,就能拿走这笔钱。到目前为止,这笔悬赏无人认领。
近期这款检测工具又把能力扩展到了AI图像和AI视频识别,正好可以拿来实测一轮。测试覆盖三种内容类型,结果如下。
文本:10对10,全部判对
人类写作一侧,选了10篇近期为Lifehacker撰写的文章。这些文字是传统方式写出来的:反复斟酌用词、回头改句子,还留下了一堆错别字,最后被编辑修掉。
AI写作一侧,轮流使用ChatGPT、Gemini和Claude,让它们写10篇标题相同、字数大致相当、面向科技读者的文章,甚至专门要求这些模型变化语言风格,让输出"读起来不那么像大模型写的"。
Pangram的文本检测支持上传文件,为了增加难度,测试时把全部文本直接复制粘贴进网页输入框,让检测器拿不到文件里的任何元数据。结果是每一次扫描都判对了:人类写的文本返回100%人类,AI写的文本返回100%AI。
而且Pangram对结果相当笃定。所有人类写作都被标记为"极可能是人类",绝大多数AI写作被标记为"极可能来自大模型"。数千个AI生成的单词里,只有少数短语或句子拿到"中等"而非"高"的判定。
Pangram确实出过错,比如一首把同样六个词重复上千遍的诗。但就这批样本而言,它挑不出毛病。人类写作的个性太强、句子太笨拙,反而不容易被误认成AI那种光滑的文风。
不过测试也找到了一个可以钻的空子:把AI段落和人类段落交替拼接,文本仍会被标记为AI,但给出的比例通常只有20%到25%,而实际AI占比约为50%。也就是说,如果只是把一部分写作外包给AI,仍可能有内容被当成真人写的混过去。
图像与视频:人工内容全部识别
图像和视频检测是Pangram新加的能力。测试从手机相册里翻出照片和视频,同样用复制粘贴而非上传文件的方式送进检测器,以限制它能读取的元数据。
所有人工拍摄的内容都被识别出来,置信度很高,无论是复杂的群像场景还是简单的自然风景。相比文本,图像可依据的信号显然更多,包括镜头运动、色彩、风格、一致性和构图。
接着用Google Gemini和ChatGPT生成了一批图像和视频,要求尽量逼真、"不像AI",内容涵盖人物、动物和建筑。同样用复制粘贴加截屏的方式限制元数据。这一轮AI识别同样精准,所有人工合成内容都被高置信度判定为AI生成。
测试还试了另一种情况:真实照片里掺入少量AI处理。如今Gemini和ChatGPT这类工具在图像编辑和从零生成图片上都相当强,这类混合内容被Pangram标记为"不确定"。客观地说,这些图片中被改动的部分确实很小。
结论:掺着用最难查
和文本一样,对付Pangram检测系统最有效的办法,似乎是在人类创作的内容里掺入一部分AI内容。它大概率仍通不过"100%人类"这一关,但测试显示,Pangram在这类情况下的判断会更不确定,或者低估实际的AI占比。
AI含量越高,检测越可靠;但如果只是把创作中的一小部分交给AI,用AI工具本身也就不太划算。就这轮测试而言,Pangram关于准确率的说法站得住脚,需要确保内容不含AI成分时,它是个有用的工具。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.