北京
近日，浙江省余姚市人民法院审结一起利用生成式人工智能制作淫秽物品牟利案。曾是国内一家游戏大厂程序员的郑某，伙同谢某、严某等6人组建研发团队，通过改写系统提示词实现AI大模型"越狱"，突破模型内置的内容安全限制，再以角色卡、对话场景诱导用户付费，批量输出淫秽图片牟利。法院认定6人均构成制作淫秽物品牟利罪，分别判处有期徒刑三年一个月至三年十个月不等，并处相应罚金。
这是AI"造黄"乱象中一个分量十足的判决，其中最值得咀嚼的不是"造黄者获刑"这个结果，而是法院对两个流传已久的借口——"内容由AI生成，与开发者无关""技术是中立的"作出了正面回应。
首先，用提示词指挥AI输出淫秽内容，算不算"制作淫秽物品"？传统意义上的"制作"，指向构思、设计、编排等直接创作行为。这起案件中，用户确实是自己选择角色、输入指令的，这是被告人最有利的辩解。但是，用户的一切操作，都被限定在郑某等人提前搭建好的技术框架之内。郑某等人反复改写系统提示词、设定角色卡、搭建对话场景，把大模型自带的安全过滤功能一一拆除，将一款通用工具"训练"成专门输出淫秽物品的犯罪工具。他们对模型的内容输出拥有实质性控制权，其行为与淫秽内容的产生之间存在刑法上的直接因果关系。AI只是他们手中的笔，执笔构思、设计、促成批量产出的人，就是刑法意义上的"制作者"。
其次，所谓"技术中立"能免责吗？大模型的安全防线，本是技术向善的护栏，郑某等人主动篡改、拆除护栏，为产出淫秽内容搭建专门的技术环境，此时他们早已不是中立的旁观者，而是犯罪链条上的设计者与获利者。正如审理此案的法官所言，"技术中立"从来不是违法犯罪的挡箭牌，不能以内容由AI生成，就否定开发者的"制作者"身份。技术本身没有善恶，但使用技术的人有选择；算法没有立场，但给算法"越狱"的人必须为自己的立场担责。
这起案件的规模同样令人警醒。模型运营期间，共生成静态图片37万余张、动态图片6000余张，用户充值折合人民币约17万元。经鉴定，随机抽取的12500张静态图片和全量动态图片中，9000余张静态图片、5000余张动态图片被认定为淫秽物品。AI一键生成、批量产出的技术特性，让危害数量以指数级膨胀——这也正是司法不能再机械套用传统标准的一个重要原因。
此案暴露了一条正在蔓延的黑色产业链之冰山一角。从2023年曝光的"一键脱衣"造黄谣，到境外涉黄AI聊天软件借灰色链接流入国内，诱导未成年人沉迷、充值甚至自残，再到央视财经前不久披露的9.9元"AI造黄"教程，商家公开售卖涉黄提示词，将敏感词翻译成英文规避审核，教唆用户用境外软件、本地离线部署绕过监管……技术门槛越低，危害扩散越快，就越需要公权力果断介入、司法及时亮剑。
事实上，针对AI滥用的制度闸门正在一道道收紧：2025年4月，"清朗·整治AI技术滥用"专项行动将AI造黄列为重点打击对象；2026年4月，《人工智能拟人化互动服务管理暂行办法》公布，强化安全评估与未成年人保护；今年9月发布的《最高人民法院关于依法审理涉人工智能纠纷案件的意见》明确，利用深度伪造等技术制作、贩卖、传播淫秽物品构成犯罪的，坚决依法严惩。从上海首例AI涉黄案到余姚这起案件，司法部门用判决明确向社会宣告：技术中立不等于技术无罪，算法不是法外之地。
模型没有选择，但人不能失去方向。判决划定的是底线，底线之上仍有大片灰色地带，需要各方各司其职：对开发者而言，安全防线不是可随意拆除的冗余代码，而是不可逾越的法律红线；对平台而言，审核机制不能形同虚设，AI生成内容应加装不可篡改的溯源水印；对个人而言，不参与、不制作、不传播，就是最实在的防线。
让技术向善，靠的不是算法的自觉，而是法律的牙齿与人的良知。
文/瞿周
编辑/汪浩舟
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
