打击AI应用乱象，中央网信办通报7类案例！南都曾多次曝光

9月2日，据“网信中国”微信公众号消息，中央网信办深入开展“清朗·整治AI应用乱象”专项行动第二阶段工作，聚焦利用AI制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出问题，部署各地网信部门深入推进重点整治任务，督促网站平台集中清理AI生成各类违法不良信息，依法查处违规账号和移动应用程序。截至目前，累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。其中，广东网信办召开重点网站平台工作例会，对多款应用违规问题开展点对点督促整改，确保专项行动取得实效。

专项行动开展以来，南方都市报、南都大数据研究院依托“AI新治向”、“MIAO懂AI”等栏目，围绕AI虚假信息、低俗营销、未成年人保护、违规AI产品等乱象推出多组系列调查与测评研究，以建设性监督助力乱象治理。

清理违法违规信息561万余条 7类典型案例被通报

今年4月30日，中央网信办在全国范围内部署开展为期4个月的“清朗·整治AI应用乱象”专项行动，分两个阶段治理AI应用服务典型违规问题和AI信息内容乱象。此次开展的第二阶段工作，有效遏制了AI生成合成信息内容乱象，推动AI应用服务健康有序发展。

专项行动期间，各地网信部门切实履行属地监管责任，北京、上海、广东、浙江等地网信办分别围绕升级平台审核策略、督促自查自纠、“一企一策”合规指导等推出针对性治理措施。网站平台也积极响应，持续健全AI内容常态化治理机制：抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台优化多模态识别模型，上线人脸实时治理系统等功能，累计发布各类治理公告46期；豆包、元宝、千问、文心一言等平台严把原始语料审核关，强化AI生成合成内容标识落地；华为、小米、OPPO、vivo等应用商店严格开发者准入规范，有效拦截违规应用入库。

此外，中央网信办通报了7类专项行动期间处理的典型案例：一是利用AI“魔改”经典、生成“数字泔水”，如滥用AI技术“魔改”《三国演义》《西游记》等经典，颠覆重要人物人设，虚构低质猎奇剧情博取流量；二是利用AI制作发布虚假不实信息，如生成合成虚假灾害现场、救援画面，编造不实社会热点信息，打造AI数字人进行虚假宣传带货，误导老年人，制造恐慌情绪；三是利用AI“换脸”“换声”等技术，假冒仿冒公众人物，生成合成低俗舞蹈、拥抱接吻等图片视频，借机营销牟利；四是制作发布暴力低俗等信息，如利用AI批量生成合成恐怖诡异、暴力低俗等画面内容；五是利用AI侵害未成年人权益，如发布AI生成的未成年人怀孕、打架等与其年龄特点不符的内容，批量制作传播“毒动画”、儿童“虐向”“邪典”视频；六是利用AI“托管”从事网络水军活动，如为AI“托管”软件引流，模拟真人运营账号、评论互动，生成大量低质同质文案；七是AI产品服务和应用程序违规，如部分网站平台智能体封面、简介和生成对话中含有淫秽色情及其他危害未成年人身心健康的信息。

中央网信办表示，下一步，网信部门将在总结专项行动治理成效的基础上，进一步把握人工智能发展趋势和规律，密切关注AI生成合成内容新情况新风险，及时采取有效措施防范AI技术滥用恶用。

系列调查持续追踪 报道推动平台整改

南方都市报、南都大数据研究院持续关注AI应用乱象，在专项行动期间深入追踪，已发布多篇系列调查及监督报道揭露相关AI应用乱象及其背后产业链。

南方都市报、南都大数据研究院开设“直击AI乱象”“AI新治向”专栏，专项行动期间发布多篇追踪报道

针对AI制作发布虚假信息问题，南都大数据研究院联合粤港澳大湾区生成式人工智能安全发展联合实验室推出“老有所AI难在哪”系列调查，揭露短视频平台上大量“AI霸总”以“深情”“成功”人设围猎中老年群体，以及AI合成“老中医”未打标识进行药品带货等问题。在系列调查之外，南都记者还持续关注AI虚假信息的传播链：实测发现，AI生成的“献血送显卡”虚假图片视频以公益之名行引流之实，透支着公众对无偿献血的信任；“MIAO懂AI”视频栏目则揭露“民宿是假图、领队是假人”的AI旅游种草套路。

南方都市报、南都大数据研究院开设“MIAO懂AI”视频栏目，聚焦AI领域热点及乱象

虚假信息之外，AI还被批量用于生产低俗内容。针对制作发布暴力低俗内容问题，南都记者还陆续调查发现：大量商家借助AI批量制作宣扬消费歧视、容貌偏见的带货短视频，一些知名国货品牌官方旗舰店也参与其中；多个美妆品牌在官方账号高频发布低俗擦边、冒犯女性的AI广告，生成软色情画面、宣扬畸形价值观；色情小说社群则公开疯传危险AI指令，轻松绕过部分主流大模型安全审核，诱导生成露骨色情、暴力血腥内容。

低俗内容侵蚀网络生态，未成年人群体面临的风险更需警惕。针对AI侵害未成年人权益问题，《人工智能拟人化互动服务管理暂行办法》施行前夜，南都大数据研究院实测10款AI社交应用“未成年人模式”，发现部分应用仍默许亲密交互，身份核验、沉迷干预等关键环节存在缺失，新规要求的“防沉迷与心理保护”防线尚未筑牢。

违规AI应用的问题，还不止于社交场景中的“亲密交互”。针对AI产品服务和应用程序违规问题，“如何共守智能体安全底线”系列调查对8款主流大模型在智能体中的表现开展测评，系列还实测7款主流大模型智能体的隐私风险，发现多款智能体对未成年人信息爬取指令“不设防”，几分钟就能扒出家庭背景、出行轨迹等敏感信息，甚至生成个人专属分析报告。此外，南都大数据研究院日前还起底AI色情短剧平台黑色产业链：普通网民甚至未成年人只需下载App、支付50元月费，即可观看AI生成的无码色情短剧，其中不乏涉及未成年人、暴力、犯罪等违法情节，从信息倒卖、App运营到技术工具开发、内容生产招募，黑产各环节相互衔接。

面对AI应用乱象的迭代演变，南都大数据研究院将继续以建设性监督为底色，紧跟“清朗”专项行动步伐，深挖风险、推动治理，为护航AI应用健康有序发展贡献媒体力量。

采写：南都N视频记者 张文嘉