上海外滩法拉利跑车失控？AI没编完整，假消息就被发布了

“10月15日凌晨，上海外滩，一辆价值300万的法拉利跑车失控撞上护栏……”近日，有读者向上海辟谣平台提供了一条辟谣线索：在某资讯平台上，一条提纲都留着、AI还没编完整的假消息，已经公开发布。事实上，当天并没有这起车祸。

资讯平台上，为AI写的提纲都没有删除，AI生成的假消息已经发布了（截屏）

无独有偶，某社交平台上一条“在上海，记住浦东这栋楼，根本走不出来”的视频也被网友投诉——视频里的楼宇采用热门IP拉布布（Labubu）的造型，发布者煞有其事地介绍该楼宇所在地、交通方式等。可Labubu造型大楼属于AI生成的“一眼假”。有网友责问发布者：“假成这样良心不痛？”原来，发布者的目的是用AI制作的视频推销某家与图片完全无关的商铺。

有账号用AI生成假视频，为相关店铺引流（截屏）

一段时间以来，AI造假屡禁不止。虽然众多平台都要求发布者声明“含有AI生成”，但从结果看，仍有不少AI假消息试图博取眼球。

面对质量参差的AIGC（人工智能生成内容），应该该怎么办？

“用魔法打败魔法”

在业界，“用魔法（AI）打败魔法（AIGC）”的呼声越来越高。

上海辟谣平台调查发现，国内已经有不少企业致力于AIGC鉴别。不同企业的研究方向略有差异，形成了视频鉴别、图像鉴别、文本鉴别等差异化赛道，其中有部分成果已经落地应用。在实践中，用AI识别AI的准确度和效率都不低。

上海企业合合信息自研的TextIn通用篡改检测平台被银行、保险、证券、零售、汽车等多个行业采纳，可以用来检测财务凭证、商场机打小票、身份证、护照、行驶证、驾驶证、港澳台证件等数十种常用卡证的篡改检测。在正常情况下，误检率不到千分之一。而且，针对企业及机构检测文档数量庞大、人工审核效率低的痛点问题，TextIn通用篡改检测平台对单个样本能实现“毫秒级检测”，效率极高。

合合信息TextIn通用篡改检测平台精准识别商场小票篡改痕迹（采访对象提供）

相关团队负责人解释，之所以能取得这样的结果，是因为AI生成或篡改的图像或视频存在肉眼无法辨别、但技术能一眼发现的瑕疵，包括像素差异、光线不合理、违背物理常识，等等。通过有的放矢地训练对应的鉴别大模型，能有效提高鉴鉴别率。

腾讯朱雀实验室团队的技术人员则向记者提供了4张图片、2份文稿，请记者判断哪些是人拍的或人写的，哪些是AI生成的。不论从图片细节或行文风格、结构逻辑看，都很难分辨。但使用相关大模型检测，“人拍的”“人写的”和“AI生成的”一秒就能出结果。再用大模型测试网络上AI生成的假新闻、假广告，结果堪称百发百中。

朱雀实验室提供的测试图片，4张照片中，只有图3是真的（采访对象提供）

两篇文稿中，左边是“人写的”，右边是“AI生成的”（采访对象提供）

技术人员以文稿为例解释，这是因为“AIGC文本内容在宏观上流畅自然，但还是存在一些微观特征与人类写作不同。例如，生成模型在预测下一个词时，有其内在的概率分布偏好，更倾向于选择最安全、最高频的词汇组合，而人类写作可能会使用一些不常见但地道的表达。又比如，人类创作通常表现出更多的爆发性，即偶尔会使用一些意想不到的词汇，而AIGC文本内容缺少这种突变性。总的来说，可以借助AI来捕捉人类数据与AI生成内容的特征差异，鉴别AIGC文本内容。”

给AIGC鉴别更多关注度

“在很多专业展会上，大部分企业展示的都是AIGC的内容多么真、生成效率多么高，公众关注的重点也是‘AIGC多厉害’。在这样的背景下谈AIGC鉴别，似乎有些不合时宜。但从实际情况看，有必要给AIGC鉴别技术更多的关注度。”某不愿具名的业内人士表示，“AIGC虽然降低了内容创作的门槛，却也导互联网上低质量甚至误导性的内容快速增长，更有不法分子利用AIGC坑蒙拐骗。所以，要鼓励更多的企业投身于AIGC鉴别技术开发，也引导平台应用相关成果，从源头减少造假行为。”

防止滥用AIGC并鼓励AIGC鉴别技术发展，需要整个生态一起努力。

一方面，对于AIGC的开发者来说，在训练模型时，要给模型加上坚固的安全护栏，保障模型输出内容安全可信。同时，在模型生成内容时，可以给生成内容加上看不见的“身份证”，方便后续进行生成内容溯源。

相关人士指出，AIGC鉴别属于“被动防御”，而这类“身份证”相当于“主动防御”策略。例如，目前已经有一种“半脆弱性数字水印”，就是在不破坏原有图像、视频内容的基础上，在人脸等重要表征上嵌入隐藏的、肉眼不可见的水印信息。图像或视频一旦被编辑修改，水印就会被破坏。使用数字水印检测器能很容易发现图像或视频是否进行过编辑，以及在哪里进行了编辑。

另一方面，社交媒体、视频网站、资讯平台等信息发布平台应当做好“守门人”，部署模型工具对平台上传播的内容进行检测识别，做好标签化处理。

比如，明确规范信息发布者按照“包含AI生成内容”“全部由AI生成”等给相关内容打上标签。同时，建立快速响应机制对明确利用AIGC进行欺诈、造谣等内容进行快速下架处置等。

此外，普通人可以尝试一些面向公众的AIGC鉴别工具来判断互联网上真假难辨的消息。朱雀实验室团队给出建议：在无法从文本或图片的表现形式识别真伪时，可以用AI检测工具对内容进行初筛。然后，根据检测工具识别出的AI生成内容进行重点筛查。期间，可以用AI等新技术快速在权威媒体、官方通报、学术数据库等可信信源中进行交叉检索，验证内容的可信度。最终，综合以上结果来判断信息真伪。

总之，整个行业要不断建设完善AIGC治理的标准和法规。最终目标不是禁止AIGC，而是为这项新技术装上“安全阀”，让它更好地创造价值。

题图来源：AI生成

微信编辑：何夕

还原事实，洞悉真相。

欢迎关注，留言举报！

除了辟谣，这里还关注网络热点，及时回应网友关切，追踪事件进展。