江苏
近日，浙江省余姚市人民法院审结一起利用生成式人工智能制作淫秽物品牟利案，被告人郑某曾是某游戏公司程序员，其组建研发团队，通过改写系统提示词实现人工智能模型“越狱”、设定角色卡诱导对话场景等方式，为用户输出淫秽内容提供技术条件，法院认定郑某等人构成制作淫秽物品牟利罪。
AI模型遭“越狱”
沦为“造黄”牟利工具
被告人郑某曾是国内一家游戏大厂的员工，在AI领域有一定影响力，也曾赴国外进行深造，2024年7月，他接触到境外一款AI色聊机器人后，萌生了开发同类软件非法牟利的想法。
有了想法以后，郑某邀请同事谢某，还有在网上认识的严某等6人，组建了一个研发团队，在经过一段时间的调试，2025年1月，他们研发的生成式人工智能模型在境外平台上线了，还接入了“第四方支付”、虚拟币等多种渠道向用户收取费用。
郑某等6人涉嫌制作淫秽物品牟利罪案庭审现场
郑某等人通过技术手段对基础模型实施“越狱”，突破了大模型内置的色情内容安全限制。
用户在充值付费后，就可以在这个模型中选择角色卡和AI机器人进行色情聊天，这些聊天内容还可以通过消耗积分来生成淫秽的静态或者动态图片。
2025年7月，公安民警在发现违法犯罪线索后进行立案侦查。历时两个月，将郑某等六名被告人全部抓获归案。
这个AI模型运营期间，一共生成了静态图片37万多张，动态图片6000多张，用户充值金额有24000美元，折合成人民币大概17万元。经鉴定在随机抽取的12500张静态图片和全量动态图片中有9000多张静态图片，5000多张动态图片被认定为淫秽物品。
通过AI技术输出淫秽内容
是否属于“制作淫秽物品”？
郑某等生成式人工智能服务提供者通过技术手段突破模型算法伦理与安全限制，输出淫秽内容是否属于“制作淫秽物品”？这是本案的核心争议焦点。刑法意义上的“制作”淫秽物品，是指将特定想法、观念或情感通过构思、设计、安排等方式在淫秽物品中予以表现的行为。传统语境下，“制作”往往体现为人工创作、编辑等直接行为。进入人工智能时代后，又该如何认定？
目前的生成式人工智能模型本身都自带内容安全过滤功能，主要是为了拦截各类不良违法信息，它本身不是犯罪的工具。但在这起案件中，被告人郑某等6人使用提示词工程，通过反复编写修改系统提示词、设置角色卡、搭建对话场景等方法，突破了AI模型原有的伦理和安全防护限制，让用户在使用时能自动生成各类淫秽内容，把AI模型从一种通用工具训练成了一款专门输出淫秽物品的犯罪工具。
郑某等6人涉嫌制作淫秽物品牟利罪案涉案软件
庭审中，被告人辩解，是用户选择角色，输入特定指令的操作，法院对此如何认定？
虽然也存在用户选择角色输入特定指令的情况，但用户的所有操作都是被限定在被告人提前搭建好的技术框架内。被告人对AI模型的内容输出拥有实质性的控制权，这个行为与淫秽内容的产生之间存在刑法上的直接因果关系。所以，通过技术手段突破AI模型算法的伦理和安全限制输出淫秽内容，应当认定为“制作淫秽物品”的行为。
法院经审理认为，被告人郑某等六人以牟利为目的，结伙利用AI技术制作淫秽物品，情节严重，其行为均已构成制作淫秽物品牟利罪。综合考虑其犯罪事实、情节、认罪悔罪态度以及对社会的危害程度等情形，分别判处被告人郑某等六人有期徒刑三年一个月至三年十个月不等，并处罚金。一审判决后，当事人均未提起上诉。目前，判决已经生效。
来源 | 央视新闻
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
