AI造谣攻防战：高中生5分钟生成虚假通报实验的警示与应对

当前正值防汛关键期，福州永泰网民王某某为吸引眼球、博取流量，竟通过AI工具剪辑视频，散布谣言，误导防汛救灾工作。无中生有的文字、移花接木的视频、捏造的图片……近年来，利用AI造谣的乱象愈发猖獗，甚至还有未婚未育者谎称“女儿‘王喵喵’被抱走”，博取大众眼球。

8月5日，南都N视频记者实测发现，网上不乏可免费使用的“AI写作神器”“视频生成器”。输入简单指令，涉及汛情、火灾等敏感主题的虚假文案瞬间生成；炮制“正式警情通报”，AI工具亦可模仿官方口吻编造细节；甚至普通景区照片经AI处理，即可变成“桥梁断裂事故”视频。

应对挑战需要技术、教育等多轨并进。暨南大学夏志华教授团队研发了视觉深度伪造检测、溯源与防御系统；上海高中生开展“5分47秒生成虚假校园通报”实验，亲身体验发出警示。

“这是一场‘技术攻防战’叠加‘认知保卫战’。”夏志华向南都N视频记者强调，唯有技术对抗、法规约束、平台治理与公众教育多管齐下，才能在算法洪流中守护人类的真实底线。

永泰一网民编造涉汛情网络谣言。

实验：高中生5分钟生成虚假通报

当一则附着“权威通报”的“上海某中学霸凌”消息在班级群里弹出，有多少人能一眼识破这是AI编造的谣言？编造这则谣言需要多长时间？近日，上海海事大学附属北蔡高级中学学生开展了一次特别实验，引起大众关注。

这则利用AI生成的通报，耗时仅5分47秒，成本几乎为零，时间地点、涉事学生姓名、伤情描述乃至法律条款应有尽有。

这次实验再次发出警示：当前，AI工具因其快捷、低成本等特点，被造谣者当作“蹭热度”引流的“利器”，更加快了谣言的生产。

8月5日，公安部网安局公布一起使用AI工具编造虚假汛情网络谣言的案例。

该案中，福建福州永泰一网民王某某为吸引眼球、博取流量，通过AI工具剪辑视频，散布福州永泰汛情谣言信息，混淆视听，扰乱社会公共秩序，误导防汛救灾工作。目前，王某某已被公安机关依法予以行政处罚。

更有甚者，借助AI编造寻人启事，甚至政府通报、虚假警情。

据浙江嘉兴南湖警方消息，近期，一男子为博取关注，使用AI大模型生成了“女儿‘王喵喵’被人抱走”的“寻人启事”并发布到社交平台，经核查发现其未婚未育。目前该男子已被行政拘留。

另据云南警方披露，赵某某为博人眼球、吸粉引流，使用AI工具制作多个交通事故现场人员伤亡视频发布到网络平台，编造虚假警情，并在视频中标注“大理州”，造成当地居民恐慌，误导网民关注。经与属地交管部门核实，大理州辖区内未发生以上交通事故。公安机关依法对违法行为人赵某某给予行政处罚。

云南警方破获一起网络造谣案。

南都记者梳理发现，越来越多警方查处的谣言案中，都有AI的身影，且AI出现的频率逐渐频繁。这些谣言的形式多样，从简单的图文，到虚构的视频都能依靠AI生成。而这些谣言之所以泛滥，更是因为其中有利可图。

除了个人造谣外，利用AI造谣牟利还形成了灰色产业链。

2024年，公安部通报，山东枣庄公安机关网安部门查明，某传媒公司为吸粉引流，购买大量已实名登记的自媒体账号，利用人工智能工具编造谣言信息并批量发布，累计发布视频、图文300余万条。枣庄公安机关已抓获犯罪嫌疑人87名，查获违法违规账号近10万个。

开源模型的爆发式增长、云端服务的便捷化、操作界面的极简设计…...暨南大学网络空间安全学院教授夏志华告诉南都记者，AI的“技术大众化”趋势已不可阻挡。“对于具备基本计算机操作能力的普通人而言，获取AI生成工具并初步产出在表面感官上达到‘以假乱真’效果的虚假信息，其技术门槛已经相当低。”

调查：炮制虚假汛情视频难度低

AI工具获取是否有难度？有哪些功能？南都记者进行了实测。

通过关键词搜索，南都记者在网络上发现许多“AI写作神器”“AI视频生成器”“AI换脸”小程序、网站，其功能多样，能满足创作社交平台各类文案需求，还有图文生成视频等功能。

南都记者随机点进一个AI小程序中，在对话框内输入创作有关“汛情”“火灾”“儿童拐卖”3个不同主题文案的有关指令，同时得到了3段被扩写至100字左右不同故事情节的文案。当要求生成“警情通报”且风格“正式”的文案时，内容则会模拟官方口吻，其中还包括具体时间、地点、人数等事件细节。

另一款小程序中，南都记者要求提供以“造谣”为主题的“警情通报”文案，该工具也很快生成百字的内容。

在更复杂的视频制作中，南都记者进入一款文字生成视频的AI网站，以“汛情”为主题输入有关指令后，生成一段视频，内容为网络上几段有关汛情视频画面的拼接，其中一些还是新闻播报画面。但视频拼接并不精美，制作十分粗糙。

AI小程序快速生成的一段虚构视频画面。

同样以“汛情”有关的简单文案为指令，另一AI小程序快速生成一段虚构视频，画面中许多车被浸泡在水中，场景较为逼真。南都记者注意到，该小程序中，除了“文生视频”，还能选择“图生视频”。在导入一张景区吊桥图片后，通过简单的指令，小程序便生成了一则吊桥断裂后桥上人掉入河中的虚假画面。

以上内容的生成甚至不需要收费。这些AI工具可以直接使用，或者通过看广告获得积分的方式便能顺利使用。

在一些AI软件中，接收到生成“警情通报”图片的指令时，软件显示“无法生成”或“描述不符合平台规则”等。有AI软件提醒“警情通报的制作需要严格遵循相关规范，且警徽等元素的使用有明确的法律规定和权限要求，个人不能随意制作此类具有官方性质的通报图片，以免涉及违规使用标识等问题。”

应对：广东团队防御“深度伪造”

面对海量AI制品，普通人如何练就火眼金睛？

对此，暨南大学网络空间安全学院教授夏志华向南都记者表示，对AI文本制品，可留意逻辑断层或情感空洞的表述，核查事实性错误；对AI图片制品，可关注边缘肢体畸形、光影矛盾、纹理重复等细节异常；对AI音频制品，要注意机械平直的语调、缺失的呼吸声，对“家人出事急需汇款”类话术保持警觉；对AI视频制品，要聚焦口型与声音不同步、眨眼频率异常、物理规律错乱（如“人物融入墙壁”）等生理矛盾。

“技术只是辅助，动态防御思维才是关键。”夏志华建议公众优先交叉验证信息来源，善用官方辟谣平台，并关注传播动机，对煽动性标题搭配的“完美内容”保持天然警惕。

但夏志华补充道，单靠人的肉眼，有时很难识别出AI虚假制品。为应对系统性风险，需构建“个人-平台-技术-监管”四维共治体系。

“个人提升媒介素养，主动核验可疑信息，切断传播链；平台承担核心枢纽责任——部署AI检测系统、落实生成内容强制标识、健全‘技术筛查+人工复核+用户举报’机制，并对造假账号实施信用惩戒；技术社区研发高泛化性鉴伪模型，公开共享前沿成果；监管部门完善立法惩治AI造假，严打跨境虚假信息犯罪。”

夏志华特别指出，2025年3月出台的《人工智能生成合成内容标识办法》已为平台责任提供了法规支撑，要求所有合法模型必须对生成内容添加水印。

为应对深度伪造带来的挑战，夏志华及其团队研究出“问答式检测系统”。

目前，夏志华和团队正致力于破解深度伪造检测面临的泛化性瓶颈。“现有算法对已知伪造数据的识别虽能突破95%准确率，却难以应对未知伪造技术的快速迭代。为此，我们通过挖掘不同伪造方法遗留的跨模型共性异常特征来提升泛化能力。”

何谓泛化能力？夏志华向南都记者解释道，其指一个模型在面对从未见过的数据时，仍能作出准确预测或有效判断的能力。简言之，它衡量的是模型从“已知”推广到“未知”的本领。

基于现有研究进展，夏志华及其团队研发了视觉深度伪造检测、溯源与防御系统，推动检测范式从“针对单点技术”向“驱动于共性特征”的转变，“将来我们会持续推进轻量化设备部署与对抗性防御技术，实现‘检测-溯源-防御’的治理技术体系”。

展望未来，夏志华警示风险将加速升级：“最需要关注的是深度伪造技术与社会工程学结合驱动的自动化攻击。”这类攻击具备高度定制化、大规模传播特性，可能制造市场恐慌或实施定向诈骗等。

“这是一场‘技术攻防战’叠加‘认知保卫战’。”夏志华强调，唯有技术对抗、法规约束、平台治理与公众教育多管齐下，才能在算法洪流中守护人类的真实底线。

预防：提升青少年媒介素养

在识破与应对AI谣言的赛道上，正涌动着青少年探索者的身影。

当上海海事大学附属北蔡高级中学学生程洋，仅用5分47秒就通过AI生成一份足以乱真的“校园霸凌警情通报”时，实验背后冰冷的现实正刺痛教育者神经——《第5次全国未成年人互联网使用情况调查报告》显示，全国45.7%的青少年无法识别AI谣言，超半数（55.9%）未成年人通过短视频获取新闻。

2025年暑期举办的第六届长三角青少年媒介素养活动，以“AI不设限，少年敢破界”为主题，聚焦信息安全，活动组织方、长三角青少年文化创新研究中心主任刘俊彦，向南都记者揭示了AI浪潮下青少年面临的风险迷宫：未分级监管的谣言与诈骗信息在互联网肆意流动，青少年如何鉴别优质内容，提升创作品质。

面对技术滥用的低门槛困境，他们以教育破局。

上海高中生实验生成虚假通报。

在上海海事大学附属北蔡高级中学的课题实验中，教师仅提供方法论工具：指导程洋和卫子扬同学通过文献法分析谣言传播规律。当他们转向实验法验证“AI造谣成本”，耗时仅5分47秒便生成虚假通报时，教师并未干预具体操作。

目前长三角已形成以上海市实验学校、上海科技大学附属学校、上海市风华初级中学、上海市闵行区莘松中学、闵行区七宝镇明强小学和闵行区实验小学等学校为代表的媒介素养联盟种子校，通过集团新闻时事争霸赛、大思政课优质资源包校本化应用、融媒体中心建设、区域媒介素养项目矩阵及丰富多彩的小媒体人培养课程等实践，全面提升学生媒介素养。

而更大规模的变革正在酝酿。刘俊彦透露，2025年新学年将启动跨省媒介素养联动计划，覆盖媒介创作、AIGC伦理、社会热点调查等领域。

“我们也期待形成全国范围内的媒介素养教育体系，包括符合联合国教科文组织学生AI能力框架的伦理与技能等专家课程、对青少年的健康网络习惯养成具有指导意义的家庭教育指南。在数据条件允许的情况下，探索权威信源库或区域性验证工具也是很好的方向。”刘俊彦说道。

当AI生成谣言的时间单位精确到秒，刘俊彦等教育者们给出应对公式：工具理性+批判思维+多方协作。

正如那份用5分47秒实验得出的假通报带来的警示——唯有保持清醒的认知，才能打破信息迷雾。

出品：南都即时

监制：王佳

统筹：向雪妮 韦娟明

主笔：南都N视频记者 周敏萱

采写：南都N视频记者 周敏萱 敖银雪