人工智能陪伴“聊黄”越过了法律红线

AI技术再复杂，也不能模糊责任边界；商业利益诱惑再大，也不能让责任“隐身”。若给低俗内容“开绿灯”，突破技术中立的合理边界，行为人理应承担不可推卸的责任。

某款定位为“为年轻群体提供亲密陪伴和情感支持”的AI伴侣聊天应用中，大量用户与AI智能体“聊黄”。一审法院认为，该应用产生了“大量具体描绘性行为或露骨宣扬色情的内容”，属于淫秽物品，以制作淫秽物品牟利罪判处该应用主要开发者和运营者相应刑罚。两名被告人不服判决提出上诉，该案二审将于近日开庭（据1月12日新京报）。

案件虽还在审理中，但已然给AI行业敲响了一记警钟。不可否认，具备拟人化互动能力的AI应用，在精神陪伴、心理疗愈等领域有着独特价值。但与AI温情对话的背后，是开发者与服务提供者主导的算法训练与规则设定。若相关从业者为博流量、赚快钱，违背社会道德和公序良俗编写、修改系统提示词，或刻意弱化内容过滤机制，给低俗内容“开绿灯”，甚至把“限制少”当卖点吸引用户，无异于亲手为淫秽内容打开了方便之门，使传递温暖的AI应用沦为输出色情信息的工具。靠“聊黄”招揽用户的行为已突破技术中立的合理边界，行为人理应承担不可推卸的责任。

退一步讲，即便从业者没有开发涉黄聊天软件的主观故意，也不代表可以免责。当平台出现高比例用户高频次生成淫秽内容时，相关主体有责任尽早发现并作出相应处置，若坐视不管，放任违规内容泛滥，甚至从中牟利，本质上是对违规违法行为的默许与纵容，更是对法律底线的触碰。事实上，《生成式人工智能服务管理暂行办法》已明确，提供和使用生成式人工智能服务，应当遵守法律、行政法规，尊重社会公德和伦理道德，不得生成暴力、淫秽色情内容。这是不能触碰的红线，也是必须扛起的责任。

值得警惕的是，AI陪聊软件的用户中不乏价值观尚未成型、辨别能力较弱的未成年人。如果色情擦边、语言暴力等不良内容充斥他们周围，势必会影响其身心健康。这更加表明，强化AI领域监管、压实相关主体责任已刻不容缓。

对此，监管层面不断作出回应：2025年11月，国标文件《网络安全技术生成式人工智能服务安全基本要求》实施，明确要求对数据中的违法不良信息进行过滤，对明显诱导生成违法不良信息的问题拒绝回答；同年12月，《人工智能拟人化互动服务管理暂行办法（征求意见稿）》向社会公开征求意见，明确提出提供和使用拟人化互动服务，不得生成、传播宣扬淫秽、赌博、暴力或者教唆犯罪等内容。这些措施既彰显了相关职能部门与时俱进完善规则、强化监管的决心，也逐步为AI发展理清行业边界、划定刚性底线。

当然，监管之外，开发者与服务提供者更要主动扛起相应责任，将依法依规意识深植技术研发的每一个环节，将责任担当落实到运营管理的每一个细节。比如，严格合规开发模型，强化训练数据管理与过滤，同时通过编写拦截程序、人工复核风险信息、封禁违规用户等多种方式落实管控职责，始终恪守法律与公序良俗的红线。

技术的发展方向，取决于人的选择。AI技术再复杂，也不能模糊责任边界；商业利益诱惑再大，也不能让责任“隐身”。靠“聊黄”吸引用户的AI应用走不远，必须以监管持续发力、行业主动担责，让AI应用始终在法律规范框架之内、公序良俗轨道之上。

来源：检察日报·法治新闻版

评论员：高梅