造谣、色情、诈骗...AI正在污染全球互联网

发展和治理，两手都要抓。

作者 | 张语格

编辑 | 趣解商业TMT组

“看到好莱坞的标志牌着火的图片，还以为好莱坞陷落了，结果竟然是AI伪造的。”

影迷橙子（化名）之前时常和朋友吐槽，社交平台上AI生成的图片是“一眼假”，然而，在前两天洛杉矶山火相关的新闻图中，橙子完全没意识到里面掺杂了大量AI假图。

“好莱坞标志牌着火的那张图，各个影迷群几乎都传疯了，大家还调侃这是在电影市场之外，先在物理层面‘陷落’了，结果，第二天就看见媒体辟谣说这张照片是AI伪造的。”橙子表示，这张假图本身就有情绪性，和新闻报道放在一起更显得真假难辨。

“趣解商业”注意到，虽然已经辟谣，但至今仍有不少网友将这张AI图当作真实照片。

01.你被AI骗过吗？

在“好莱坞标志牌着火”之前，西藏定日6.8级地震发生后，也曾有一张AI生成的“小男孩被困”图片在社交媒体上疯狂流传。

橙子无奈表示，“当时我还吐槽这种人物图AI味道太重，手指数目不对，脸部虚化过于严重，只有完全不了解AI的中老年群体才会信。结果没几天，我就被好莱坞着火的AI图给‘骗’过去了。”

在近日的社会新闻里，“好莱坞标志牌着火”和“地震被埋男孩”欺瞒了不少人的眼睛，尽管两张图都已经被官方辟谣，但仍有不少用户“深信不疑”，其中也包括很多年轻人。

据媒体报道，经查，青海某网民为博取眼球，将“小男孩被埋图”与日喀则地震相关的信息进行关联拼凑、移花接木，混淆视听、误导群众，致使谣言信息传播扩散。目前，涉案人员已被属地公安机关依法行政拘留。

1月10日晚间，抖音官方发布公告称，平台已严肃处置23652条涉地震不实信息并配发了辟谣内容。公告中还提到，2023年和2024年，抖音就曾发布AI内容治理相关公告，明确平台不鼓励利用AI生成虚拟人物进行低质创作，将严格处罚违规使用AI生成虚拟人物发布违背科学常识、弄虚作假、造谣传谣的内容。

此前，“趣解商业”曾在《2024年，多少人被AI“割韭菜”？》文中提到，AI生成的内容正在占领社交网络。“小猫张嘴唱歌”“甄嬛机关枪扫射四郎”这类虚拟内容尚能分辨出是AI制作，但如今很多AI生成的的真人图片和视频，已经到了肉眼难辨真假的地步。

经常刷短视频的陈沐（化名）表示，现在刷到AI创作的内容概率越来越高了，“你看完一个换脸视频以后，平台就会疯狂给你推类似的AI换脸二创。”然而，目前社媒平台的审核并不能完全精准识别到所有AI创作内容，还需要用户发布时自觉勾选标注；而因为AI内容声明的标识并不显著，有些内容即使明确标识是AI创作，仍会被很多用户当作真实内容。

据媒体报道，2024年6月中旬，一家MCN机构的实际控制人王某某因利用AI软件生成虚假新闻并大肆传播，扰乱公共秩序，被警方行政拘留。据警方通报，王某某共经营5家MCN机构，运营账号842个，自2024年1月以来，王某某通过AI软件生成虚假新闻，最高峰一天能生成4000至7000篇。

2024年下半年，有网友称自己在小红书上通过账号矩阵管理软件同时操控1327个AI美女账号，没有任何一个被平台识别出来。由于AI真人账号过多，小红书上还出现了专门打假的博主。

有网友表示，为了避开技术bug，很多AI生成的“真人图”通常会避免出现手指，“很多人都是用提示词让手伸出画面，放在身后，握拳，用东西遮挡双手等；如果是真人视频，则要注意口型，AI生成视频一般口型和台词会对不上，或是不太自然。”

然而，也并不是所有人都在乎照片、视频里的形象是不是真人。有网友表示，“好看、能提供情绪价值就可以了，难道那些真人博主就长得和照片一模一样？既然都不真实，是不是AI又有什么所谓？”

由于对“数字人”警惕性不足，通过AI换脸的诈骗案也层出不穷。

据《北京商报》报道，2024年2月有诈骗犯运用Deepfake 深度伪造技术，制作出公司高层发言视频，诱导职员先后15次将2亿港元转至指定账户。

除此之外，还有用AI换脸真人制作色情影片、盗刷医保的违法案例。杭州曾有人通过AI换脸伪造女明星涉黄视频，甚至还组建群聊，满足定制换脸色情影片的需求，根据时长、视频难度收取相应的费用。杭州萧山检察在该群内查获的淫秽视频高达1200余部。

AI模糊了真实与虚假的边界，也给越来越多的人带来困扰。

北京周泰律师事务所张子航律师表示，在公共事件中，故意歪曲事实，用AI或者其他技术手段制作图片、视频，并在社交平台传播造成负面影响的，首先要追究的是制作者的责任，制作者面临的可能是行政责任，也可能是刑事责任。

此外，发布虚假信息的社交平台，也有可能要承担法律责任。张子航律师表示，平台虽然不是技术和内容的提供者、制作者，但负有审核和监管义务，社交平台如未能尽到义务，导致虚假图片传播并造成严重的负面影响，监管部门有权对发布平台做出罚款、责令整改等形式的处罚。

02.AI正“污染”互联网

社交平台上，不止一个网友表达过对“AI入侵”的担忧。

有小红书网友表示，现在AI大模型迭代速度很快，2023年用AI画人类的手和脚还乱七八糟，2024年Flux模型画手的正确率就明显提升了很多，再过几年，说不准AI就能正确画出人体各部位，还有各种肢体动作了。“若不加强管理，到时社交网络上恐怕会变得乌烟瘴气。”

AI生成的内容，同样也充斥着海外的社交网络，有些严重侵害了明星、名人的权益，有些甚至在经济层面产生了严重影响。

2024年1月，由AI生成的明星泰勒·斯威夫特“不雅照”在X（原推特）、脸书等社交媒体上流传，浏览量已过千万，引发公众关注。

据网络安全公司Home Security Heroes2023年发布的数据，2023年网络上可监测到的Deepfake视频有95280个，其中98%都是色情内容，而这类内容的主角99%都是女性。

2023年5月，一张五角大楼发生爆炸的照片曾在Twitter上被大范围转发，其中包括很多投资相关的网站和社媒账户；据媒体报道，照片发布正赶上美国股市当天的开盘时间，一度引发美股恐慌性短暂下跌。

当AI生成的内容频繁地与真实新闻掺杂在一起，不仅普通民众很难辨别真伪，一些专业机构甚至也难以招架。

互联网观察基金会IWF的分析师曾表示，AI生成的非法内容（包括儿童受虐图片、AI名人换脸视频等）正在急剧增加，像我们这样的组织或者警察，可能会被成百上千张新图片的鉴别工作压垮，我们并不总能知道，在这其中是否真的有一个孩子需要帮助。

张子航律师认为，AI逐渐让人意识到，眼见并不为实。AI技术的推广，有可能使得网民对网络信息从一个极端到另一个极端，也就是从全信到全不信。

除了入侵互联网内容生态，AI生成的内容也给大模型训练带来了风险。中国信通院发布的《人工智能治理蓝皮书（2024年）》提到，近年来，人工智能内生风险加大，模型缺陷、幻觉等问题凸显；人工智能应用风险不断蔓延，人机伦理、劳动替代、能源短缺等问题突出。

OpenAl前首席技术官Mira Murati曾指出，底层大型语言模型的最大挑战是会编造错误或不存在的事实。

牛津大学的伊利亚・舒梅洛夫博士及其团队在《Nature》上发表的论文提到，当生成模型开始接受AI内容训练时，最终生成内容的质量会明显下降，反馈循环可能导致模型输出偏离现实、甚至有明显偏见的内容，研究人员将这种现象称为“模型崩溃”。

此前，国内领先的AI实验室DeepSeek发布新的AI模型DeepSeek V3模型就出现在测试中竟然声称自己是OpenAI的ChatGPT的情况，并且能够详细阐述OpenAI API的使用方法。

参与过文本生成模型研究的子璐（化名）表示，大模型训练的数据在投喂前都会进行筛选和清洗，图片、视频的生成在技术上更复杂，训练数据的样本也更容易去做清洗，比如固定去找一些摄影师的作品。“相比之下，文本生成的训练数据会更杂一些，也更容易被污染，如果没有人工仔细筛选，很可能会收录进一些虚假的新闻。”

如果AIGC的增加是必然趋势，那普通用户该如何对这类内容有效甄别？某互联网大厂AI安全研究员Lisa（化名）对此表示，普通用户可以从图像的视觉纹理特征来区分AI创作。“一般生成的图片颜色更加鲜艳、纹理更加平滑，而生成的视频运镜缓慢，画质模糊，经常出现类似文字的乱码内容。”

除此之外，文本和图像还可以借助第三方工具来辨别。《人工智能治理蓝皮书（2024年）》提到，“以技治技”正在成为平衡人工智能安全与创新的必要工具。

据“趣解商业”了解，现在已经有AIGC检测工具根据相似检索、内容检测和水印追溯等方法，支持文本、图片等AI生成内容的检测。Lisa表示，如今生成内容越来越逼真，真实图片与生成图片的特征差异越来越小，检测工具的模型学习难度其实也在增加。

不过，大部分用户都是不熟悉AI技术的普通人，不具备鉴别意识和能力，识别AIGC、鉴别真假不应成为用户的负担和责任。创作者应自觉声明内容属性，平台拥有更完善的技术资源和团队，更应承担起识别和审查AI内容的主要责任。

03.发展和治理“两手抓”

张子航律师认为，想要防范AI创作内容带来的风险，除了用户增强核实意识与能力，平台也应当加强规范。“尤其要关注短时间内被频繁关注、转发的内容，如果发现是AI创作，确认为虚假信息后应当予以删除，如果不能确认真假，也应当提示和标注该内容为AI创作。

据“趣解商业”了解，目前已有多家社媒平台针对AIGC内容做出了相应的监管规范。

小红书在2023年启动了AIGC治理体系建设，对识别为疑似 AI 生成的内容进行显著标识；抖音也在2023年、2024年陆续发布了《关于人工智能生成内容的平台规范暨行业倡议》《 AI生成虚拟人物治理公告》等一系列公告，并持续对多种AIGC造假内容进行严厉打击；今年1月，快手还在站内开设了“辟谣”榜位，通过官方账号转发辟谣作品，利用算法优化，增加辟谣内容曝光量，同时将辟谣信息精准推送给曾浏览过相关谣言的用户。

中国企业资本联盟中国区首席经济学家柏文喜认为，除了加强监管和治理，平台还可以完善用户举报机制，以及建立版权保护机制，要求用户在使用AI生成内容时必须遵守相关的版权法规，明确标注内容的来源和版权归属，防止侵权行为的发生；同时也要注重用户教育，通过平台的官方渠道，如发布指南、教程、案例分析等形式，提高用户对AI内容的识别能力和辨别真伪的意识和能力。

张子航律师还表示，AI生成工具要有提供显著标识的功能，像人脸替换、人声合成等显著改变个人身份特征的编辑服务，应当强制标识为AI创作。“如果这类服务未强制标识，创作者也不声明为AI创作，我个人认为是构成共同侵权的，需要承担一部分的侵权责任。”

以从业者的角度来看，子璐认为，防止AI虚假内容的泛滥，还需要对使用者进行限制。“‘harmless’（无害性）和‘helpful’（有用性）是我们之前做文本生成主要权衡的两个标准，特别安全的内容可能不够有用，特别有趣、有用的内容可能会有风险，所以企业也很重视生成内容的安全性。”

“AI工具企业会避免生成含有色情、暴力等价值观扭曲的内容，但却管不了内容的用途。如果有人要求AI生成一张性感女孩的换脸照片，照片本身并没有危害，但用户拿这张照片造谣中伤女孩，这其实是使用者的问题，也是AI企业很难管辖的领域。”

如今，国内外都愈加重视对AIGC的监管与合规性问题，目前至少有60多个国家制定和实施了人工智能治理政策。

2023年1月10日，国家互联网信息办公室、工业和信息化部和公安部联合发布的《互联网信息服务深度合成管理规定》正式施行，旨在加强互联网信息服务深度合成管理，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益；此后，国家网信办联合国家发展改革委等多部门公布了《生成式人工智能服务管理暂行办法》，并自2023年8月15日起施行。

2024年9月14日，国家互联网信息办公室发布了《人工智能生成合成内容标识办法（征求意见稿）》公开征求意见的通知，以规范人工智能生成合成内容标识，维护国家安全和社会公共利益，保护公民、法人和其他组织的合法权益。多项规定和监管政策的相继落地，让刚性治理有了更多具体的抓手。

新的技术进步呼吁新的监管体系，而这一点并不能完全指望科技商业公司的自我约束，需要监管方、平台方的共同努力。尽管AI的应用范围广泛且难以界定，但法律和道德的边界始终清晰；未来，政策监管和平台审核的力度必然会更加深入，社交平台上的内容生态还会因此发生哪些改变，值得进一步关注。