2025年度AI乱象调查 | 如何从源头治理：法律、模型、数据三管齐下

来源：市场资讯

（来源：上游新闻）

开栏语：

AI技术正以前所未有的速度重塑世界，也在现实中投射出重重乱象。几天前，“slop”（AI批量产出的劣质内容）被评为年度热词。过去这一年，我们见证了AI“一键脱衣”打开潘多拉，捏个“假偶像”直播捞金；赛博算命、智商税学习机屡屡上新，学术圈和诈骗团伙也都在狂刷AI副本……上游新闻特别推出“年度AI乱象调查”专题，盘点六大AI“翻车”现场，带你看透乱象背后的深层逻辑和监管难点，探讨AI乱象综合整治之道。

技术无善恶，道德有底线。这场AI安全保卫战，没有局外人和旁观者。

2025年，AI技术以惊人速度渗透到社会生活的方方面面，从“一键脱衣”到“AI论文”，从“伪人带货”到“拟声诈骗”，各种AI乱象层出不穷，映射出技术快速发展引发的深层问题。面对这一现状，近日，上游新闻（报料邮箱baoliaosy@163.com）记者采访了重庆大学大数据与软件学院博士生导师黄晟教授，他从多个维度系统提出了自己的治理建议。

源头治理：法律、模型、数据三管齐下

黄晟教授认为，在源头治理上，应从法律、模型、数据三个层面遏制AI技术造恶。

9月1日起，国家网信办等4部门联合发布的《人工智能生成合成内容标识办法》正式施行，要求所有AI生成的文字、图片、视频等内容必须“亮明身份”，防止虚假信息传播。

黄晟表示，在法律层面，关键在于压实技术提供者的主体责任。必须严格执行《人工智能生成合成内容标识办法》，要求所有AI生成的图片、音频、视频等合成内容，均嵌入不可移除的显性标识和隐式标识（数字水印）。这不仅有助于公众识别内容来源，更能为公安机关侦查取证和司法机关追究责任提供可靠的技术依据。

广州一名年轻女子乘坐地铁时，照片遭“一键去衣”。据澎湃新闻

在模型层面，黄晟表示，服务提供者须确保模型在上线前通过安全与伦理评估，尤其对支持人脸合成、语音克隆、开放域文本生成等高风险功能的系统，应将其活体检测、声纹验证、敏感内容过滤及生成水印等防滥用机制作为模型内建能力予以实现和验证。

在数据层面，训练数据必须合法合规，严禁使用未经许可的版权作品或未经授权的个人隐私数据进行模型训练。同时，应建立严格的内容审核机制，全面筛查并剔除包含违法不良信息，如涉黄、暴力恐怖、电信诈骗等内容，以及具有歧视性或偏见性的数据，防止模型因训练数据污染而生成有害、违法或违背社会公序良俗的内容。

“数据是AI的‘食物’，若输入的是盗版素材、隐私信息或违法内容，模型便难免‘习得’偏差甚至恶意。”黄晟表示，必须从源头守住数据合法合规的底线，杜绝偏见与违法内容进入训练集。

伦理边界：从口号到可执行标准

黄晟教授强调，AI伦理不能只停留在口号或原则层面，必须转化为可量化、可执行、可验证的技术标准与制度安排。

“作为一名AI技术从业者，我建议，首先是制定AI伦理‘负面清单’。”黄晟表示，应明确禁止将人工智能技术用于高风险、高危害场景，例如利用深度伪造技术实施诈骗或诽谤、生成传播色情暴力内容、批量伪造学术论文或考试答案，以及针对未成年人进行诱导性营销或行为操控等。

黄晟强调：“这份清单不应只是道德倡导，应成为模型设计、产品上线和平台审核的硬性约束条件。”

央视曝光博主利用AI仿冒奥运冠军全红婵声音带货土鸡蛋的视频。网络图

“其次是推广‘可解释AI’。”黄晟表示，在司法、教育等关乎人身权益的关键领域，系统应能清晰说明“为何做出此判断”，“这些场景中的算法决策直接影响人的健康、自由与发展，绝不能是‘黑箱’。”

“比如司法辅助系统展示量刑参考因素，教育推荐引擎揭示内容筛选逻辑。只有做到过程透明、依据可查、结果可复核，才能真正建立公众信任。”黄晟说。

“最后是将AI素养纳入国民基础教育体系。面对AI生成内容日益逼真、信息污染无处不在的现实，下一代必须具备基本的数字辨识能力。”黄晟建议，在中小学课程中融入AI素养教育，通过案例教学、互动实验等方式，教会学生识别深度伪造视频、质疑AI生成信息、理解算法偏见，并在此基础上培养独立思考与批判性思维。

监管转型：从“事后追责”到“技术前置”

10月16日人民日报发表评论《人工智能监管应因时而变》，文中称，近年来，《中华人民共和国网络安全法》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》《人工智能生成合成内容标识办法》等法律法规的出台，为人工智能的有效监管奠定了基础。然而，技术发展日新月异，规则具有滞后性，二者不可避免存在时间差。

“进一步健全法律体系，其关键在于让规则具备技术可执行性。”黄晟认为，当前监管偏重“事后追责”，“但AI滥用往往是‘秒级生成、分钟传播’，等发现时危害已扩散，监管部门更应推动技术前置治理。”

黄晟建议，监管部门可以重点关注三方面：一是强制高风险AI服务开放安全接口，比如要求换脸、拟声类模型必须提供“内容真实性验证API（应用程序接口）”，供平台或警方快速核验是否为合成内容。

民警将正欲出门向诈骗人员交付现金的老人拦下。四川公安公众号视频截图

二是建立AI模型备案与检测标准。参考APP备案，对具备深度合成能力的模型，要求提交安全测试报告，如活体检测通过率、敏感词拦截率等指标，并允许第三方用标准数据集进行“压力测试”。

三是支持建设国家级AI内容检测基础设施，监管部门可牵头开发开源的识别工具包，并强制社交平台接入，实现“上传即检测”。

四是健全行业制度，重点在于构建跨平台协同防御机制，通过标准化与互操作，使社交平台、支付系统、应用商店等能够快速联动响应，将作恶者挡在整个生态之外。

“技术防御必须跑在诈骗和谣言前面。”黄晟表示：“说到底，好的监管不是限制创新，而是设定技术底线，让作恶的成本远高于守规的成本。”

上游新闻记者汤皓